面向校园网日志分析的Web数据挖掘技术研究

论文摘要

随着互联网发展的日趋成熟，人们淹没在充斥着各种各样信息的世界中，面对着纷繁复杂的信息世界却无法有效的选择、吸收和消化信息，陷入了所谓的“信息过载”。无处不在的信息资源的普遍性又增加了人们从大量繁杂信息中寻找自己感兴趣的数据和信息的难度，用户无法有效的选择可以高效搜索自己所需信息资源的方法和工具，又会陷入“信息迷失”现象中。此外，目前检索网上信息的主要手段还是利用搜索引擎来检索，由于大部分搜索引擎都不具有主动性搜索的特点，与用户的交互极少甚至没有，忽略了用户的兴趣偏好和用户需求的差异，因此，基于搜索引擎的普遍检索无法有效的解决“信息过载”和“信息迷失”现象。随着信息技术水平的不断发展和成熟，从海量数据中抽取潜在的、用户感兴趣的知识成为数据挖掘领域中一个非常重要和有意义的研究课题。Web数据挖掘是将数据挖掘和万维网这两个领域中的多种技术和方法结合起来的热门研究课题。一般来说，Web挖掘的研究领域包括Web内容挖掘、结构挖掘和使用挖掘。本文系统的阐述了从数据挖掘、Web数据挖掘到Web日志挖掘的整个过程，Web数据挖掘的预处理、Web日志模式发现以及Web日志模式分析等技术过程，在简要的论述Web日志挖掘的概念、研究内容、关键技术和目前国内外研究状况的基础上，针对我校网站的访问日志，采用数据挖掘技术进行数据分析，重点研究了Web日志挖掘的数据预处理的改进，在理论改进的基础上提出了具体的实验方案，并设计了基于校园网日志分析的Web数据挖掘系统，从而找出用户访问规律和内容喜好，为改进校园网的网站结构和内容提供了决策支持和依据，并通过实验验证了本研究所设计的Web数据挖掘系统的有效性和可行性。论文所做的主要工作是：首先介绍了本文所做研究的现状及趋势，国内外目前对Web日志挖掘研究的情况，然后阐述了数据挖掘和Web数据挖掘以及Web日志挖掘的基本概念和相互之间的联系。接下来分析了Web日志挖掘过程中的数据预处理技术，基于对传统数据预处理阶段中各项任务的完成方法和利用技术进行详尽的分析，然后提出了更新的数据与处理技术，即Frame页面过滤技术，并采用基于ID3算法的技术改进Frame页面过滤技术，最后利用实际的网站模型进行了验证，实验结果表明本文研究的算法在不破坏数据预处理精确度的前提下有效的提高了数据与处理的效率。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 国外研究状况
• 1.2.2 国内研究现状
• 1.3 本文主要研究内容和意义
• 1.3.1 本文主要工作
• 1.3.2 本文工作意义
• 1.4 本文篇章结构
• 第二章 WEB 数据挖掘研究
• 2.1 数据挖掘理论
• 2.1.1 数据挖掘的概念
• 2.1.2 数据挖掘的功能
• 2.1.3 数据挖掘常用算法
• 2.2 WEB 数据挖掘理论
• 2.2.1 WEB 数据挖掘概念
• 2.2.2 WEB 数据挖掘的分类
• 2.2.3 WEB 挖掘发展
• 2.3 WEB 日志挖掘理论
• 2.3.1 WEB 日志挖掘概念
• 2.3.2 WEB 日志挖掘实现过程
• 第三章 WEB 数据挖掘相关技术研究
• 3.1 数据获取
• 3.2 数据预处理
• 3.2.1 数据清理
• 3.2.2 用户识别
• 3.2.3 会话识别
• 3.2.4 路径补充
• 3.2.5 事物识别
• 3.3 模式发现
• 3.4 模式分析
• 3.5 本章小结
• 第四章 WEB 数据挖掘预处理的改进
• 4.1 数据获取与数据分析
• 4.2 预处理中的 FRAME页面过滤技术
• 4.3 基于 ID3 算法的 FRAME页面过滤
• 4.4 预处理中改进的会话识别算法
• 4.4.1 优化访问时间阈值的会话识别
• 4.4.2 实验结果与分析
• 4.5 本章小结
• 第五章 校园网日志挖掘系统的设计与实现
• 5.1 系统原型设计
• 5.1.1 系统总体设计
• 5.1.2 系统模块功能
• 5.2 模式发现模块设计与实现
• 5.2.1 多元预测模型
• 5.2.2 模型构造与预测算法
• 5.2.3 实验结果与分析
• 5.3 系统实现运行
• 5.4 校园网网站改进意见
• 5.5 本章小结
• 第六章 结论和未来研究展望
• 6.1 全文总结
• 6.2 研究展望
• 致谢
• 参考文献