Web日志挖掘中数据预处理算法的研究

论文摘要

Internet的迅猛发展,尤其是Web的全球普及,使得Web上信息量无比丰富。通过对Web的挖掘,可从Web页面中提取所需的知识:对总的用户访问行为、频度、内容的分析,可得到关于群体用户访问行为和方式的普遍知识,用以改进Web服务设计。更重用的是,通过对这些用户特征的理解和分析,有助于开展有针对性的电子商务活动。Web日志挖掘利用数据挖掘技术分析和挖掘网络日志,获取网站使用情况的有价值模式,应用于个性化服务、网站设计和商业决策等方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用,其中用户识别和会话识别是主要环节,也是整个过程的基础和关键步骤。本文将对提高用户识别和会话识别算法进行研究。本文系统地阐述了从数据挖掘、Web数据挖掘到Web日志挖掘整个过程,重点研究了Web日志挖掘技术及其步骤,研究了数据预处理的过程和方法,包括用户识别技术和会话识别技术等。本文的主要工作是,首先提出了一种以活动用户为基础的用户识别算法,它使用IP地址和用户访问截止时间去识别日志中的不同用户,实验结果表明,该算法比基本用户识别算法有着更好的性能,甚至对于小型日志文件系统也适用。其次,给出了会话识别的定义,并对传统的预先设定时间间隔方法进行了优化,在给出算法数据结构的基础上具体描述了算法,实验证明会话质量得到了提高。

论文目录

• 摘要
• ABSTRACT
• 绪论
• 一 课题的研究背景
• 二 课题的研究意义
• 三 课题的研究现状
• 四 Web 日志挖掘的应用现状
• 五 论文的主要工作和组织结构
• 第一章 Web 数据挖掘
• 1.1 数据挖掘
• 1.1.1 数据挖掘背景
• 1.1.2 数据挖掘的定义
• 1.1.3 国内外数据挖掘的研究现状
• 1.2 Web 数据挖掘
• 1.2.1 Web 技术的历史与发展
• 1.2.2 Web 数据挖掘提出的背景
• 1.2.3 Web 数据挖掘的定义
• 1.2.4 Web 数据挖掘的分类
• 1.3 模式发现
• 1.4 模式分析
• 1.5 Web 挖掘的特点与难点
• 1.5.1 Web 挖掘的特点
• 1.5.2 Web 挖掘难点
• 1.6 本章小结
• 第二章 基于Web 的日志挖掘技术
• 2.1 Web 日志挖掘的提出
• 2.2 Web 日志挖掘的应用
• 2.3 Web 日志挖掘的研究现状
• 2.4 Web 日志挖掘所要解决的问题
• 2.5 Web 日志挖掘的过程
• 2.6 本章小结
• 第三章 Web 日志挖掘系统的数据预处理
• 3.1 Web 日志基础知识
• 3.1.1 用户Web 访问过程
• 3.1.2 术语解释
• 3.1.3 Web 服务器日志格式
• 3.2 Web 日志预处理过程
• 3.2.1 数据清理
• 3.2.2 用户识别
• 3.2.3 会话识别
• 3.2.4 路径补充
• 3.2.5 事物识别
• 3.3 本章小结
• 第四章 Web 日志挖掘中数据预处理算法的改进
• 4.1 Web 数据预处理过程
• 4.2 用户识别算法优化
• 4.2.1 基本概念
• 4.2.2 基本用户识别算法
• 4.2.3 基于活动用户的用户识别算法
• 4.2.4 实验结果分析
• 4.3 会话识别算法优化
• 4.3.1 用户会话概念
• 4.3.2 用户会话识别算法的优化
• 4.3.3 会话识别算法描述
• 4.3.4 实验结果分析
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的学术论文
• 致谢