基于XML的Web文本挖掘及关联算法的研究

论文摘要

近年来,随着计算机技术的发展和互联网的普及,各级网站服务器中的数据量越来越庞大,数据的种类也越来越繁杂,如何更好地有效利用这些数据,从中挖掘出对各个领域有价值的信息成为现如今的热点研究。尽管传统的数据库技术和数据挖掘技术已取得了飞速的发展且也在日益完善,但由于Web数据的数据类型是半结构化或无结构化,传统技术对Web数据的信息挖掘而言,就存在诸多的困难。XML是一种半结构化的数据模型,随着XML的不断发展,用XML表示Internet上的信息开始广泛应用。XML具有可扩展性、平台无关性、灵活性等特点,还具有强大的数据表达能力,这使得XML能够在信息数据的表示和交换方面的作用日渐增强。因此,对于数量巨大的XML数据,如何能够有效提取其中有价值的信息迫在眉睫。Apriori算法是关联规则挖掘的经典算法,在关联规则领域有很大的影响力,然而由于其需要过于频繁的扫描数据库及较大的空间消耗,许多人已经通过多种方法对其进行改进。现有的基于XQuery的Apriori算法仍存在需要改进的地方,例如,某些情况下由于XML文档的数据量太大,相关的数据就被存放在多个文档中,这些文档又没有必然的联系。而目前的关联规则算法则主要是对单个XML文档进行挖掘,若要对多个文档进行挖掘,就必须对算法进行改进。本文将XML的查询语言XQuery与关联规则挖掘算法结合起来实现了基于XQuery的Apriori算法,对多个XML文档的关联规则挖掘进行研究。在不降低挖掘效率的前提下,通过对算法进行改进,引入XQuery语言中的collection函数,由于此函数具有可以访问多个XML文档集合的特点,实现了对多个XML文档进行挖掘的目标。将改进的算法运用在基于XML的Web文本挖掘模型中,验证了其可行性及有效性。

论文目录

• 摘要
• Abstract
• Contents
• 第1章 绪论
• 1.1 研究背景
• 1.2 课题研究现状
• 1.2.1 Web 数据挖掘的研究现状
• 1.2.2 基于XML 的Web 数据挖掘研究现状
• 1.2.3 基于XML 与Web 数据的关联规则算法挖掘的研究现状
• 1.3 本文的主要工作安排
• 第2章 数据挖掘技术
• 2.1 数据挖掘技术概述
• 2.1.1 数据挖掘的基本概念
• 2.1.2 数据挖掘的主要任务
• 2.1.3 数据挖掘的步骤
• 2.2 Web 挖掘技术
• 2.2.1 Web 挖掘的定义及分类
• 2.2.2 Web 挖掘的难点和解决方法
• 2.3 关联规则挖掘
• 2.3.1 关联规则的概念及分类
• 2.3.2 关联规则的经典挖掘算法
• 2.4 本章小结
• 第3章 XML 技术
• 3.1 XML 技术概述
• 3.1.1 XML 文档的基本结构
• 3.1.2 XML 的主要特点和优势
• 3.1.3 XML 的相关技术规范
• 3.1.4 XQuery 语言介绍
• 3.1.5 XQuery 中的collection 函数
• 3.2 XML 的挖掘
• 3.2.1 XML 结构的挖掘
• 3.2.2 XML 内容的挖掘
• 3.2.3 挖掘XML 数据的方法
• 3.3 本章小结
• 第4章 基于XQuery 的XML 文档的关联规则挖掘
• 4.1 基于XQuery 实现XML 文档的关联规则挖掘
• 4.1.1 基于XQuery 的Apriori 算法
• 4.1.2 上述算法的局限性
• 4.1.3 针对上述局限性对Apriori 算法的改进
• 4.2 改进后的算法
• 4.3 实验结果
• 4.4 本章小结
• 第5章 基于XML 的Web 文本挖掘系统
• 5.1 基于XML 的Web 文本挖掘系统中关键技术概述
• 5.1.1 将Web 文档转换成结构良好的XML 格式
• 5.1.2 数据的析取
• 5.1.3 数据检验和集成
• 5.2 基于XML 的Web 文本数据挖掘模型
• 5.3 本章小结
• 总结
• 参考文献
• 攻读硕士学位期间发表的学术论文
• 致谢
• 详细摘要