基于日志的Web挖掘相关技术研究

论文摘要

随着Internet的飞速发展及迅速普及,Web站点为人们提供越来越多信息服务的同时,其自身结构也变得日趋复杂。如何改进Web站点结构以便于用户的访问,如何得到Web用户的兴趣爱好从而增加网站利润,等等。这些已经成为众多Web商家关注的焦点。为了解决这些问题,人们将传统的数据挖掘技术引入Web领域,通过挖掘Web日志以得到有用的信息和模式,并将这些知识用于实现商业智能,为用户提供个性化服务,Web站点优化,系统性能改进等目的。这便是Web日志挖掘。Web日志挖掘有其显著的理论与实际意义,因此受到人们越来越多的关注与研究。本文系统地论述了Web日志挖掘的基本理论与完整过程,并对其中的若干关键问题提出了创新与改进。首先,对Web日志挖掘的研究背景,意义,数据源及主要过程做了介绍,然后详细论述了Web日志数据预处理的过程及各阶段的难点与相应解决技术。重点分析了现有会话识别方法,指出其不足,在此基础上,由会话的定义出发,根据用户浏览站点习惯,提出了以站点首页及导航页作为新会话开始标识的新会话识别方法,该方法能够避免原有会话识别方法的诸多不足,且能减轻事务识别阶段识别事务的任务。通过选取真实Web日志,进行数据清理,用户识别后,分别编程实现了新会话识别方法和原有会话识别方法。实验结果证明,新会话识别方法比原有方法识别会话数更多,而且也更加准确。其次,详细分析现有页面兴趣度计算方法的不足,在综合考虑页面被访问的频度及访问时间的基础上,提出一种改进的页面兴趣度计算方法。通过分析验证,改进的页面兴趣度计算方法更加合理真实地反映出用户对页面的感兴趣程度。最后,以改进的页面兴趣度计算方法给站点被访问页面赋予相应权重,给出权重阈值及频繁加权访问序列的定义,将GSP算法引入到页面加权后的用户访问序列模式挖掘中。通过实验证明,将改进的兴趣度用于访问序列模式挖掘,得到的频繁加权访问序列,更能准确体现用户的访问行为。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 绪论
• 1.1 研究背景及意义
• 1.2 Web日志挖掘研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 论文的主要内容和组织结构
• 1.3.1 论文主要内容
• 1.3.2 论文组织结构
• 第2章 Web日志挖掘
• 2.1 Web挖掘技术
• 2.1.1 Web结构挖掘
• 2.1.2 Web内容挖掘
• 2.1.3 Web日志挖掘
• 2.2 Web日志介绍
• 2.2.1 日志数据源
• 2.2.2 Web日志数据格式
• 2.3 Web日志挖掘介绍
• 2.3.1 Web日志挖掘定义
• 2.3.2 Web日志挖掘过程
• 2.4 本章小结
• 第3章 Web日志预处理
• 3.1 Web日志预处理技术
• 3.1.1 数据清理
• 3.1.2 用户识别
• 3.1.3 会话识别
• 3.1.4 路径补充
• 3.1.5 事务识别
• 3.2 一种新的会话识别方法
• 3.2.1 新会话识别方法
• 3.2.2 实验及其结果分析
• 3.3 本章小结
• 第4章 序列模式挖掘
• 4.1 序列模式挖掘介绍
• 4.2 序列模式挖掘典型算法介绍及分析
• 4.2.1 GSP算法
• 4.2.2 PrefixSpan算法
• 4.3 本章小结
• 第5章 用户访问序列模式挖掘
• 5.1 页面权重（页面兴趣度）
• 5.1.1 常用页面兴趣度
• 5.1.2 改进页面兴趣度
• 5.2 引入权重的用户访问序列模式挖掘
• 5.2.1 访问序列权重
• 5.2.2 引入权重的用户访问序列模式挖掘
• 5.3 实验结果及其分析
• 5.4 本章小结
• 第6章 结束语
• 参考文献
• 附录A 图目录
• 附录B 表目录
• Appendix A:Figure Index
• Appendix B:Table Index
• 致谢
• 攻读硕士学位期间发表的论文