基于内容的中文Web文档聚类方法研究与应用

论文摘要

随着Internet的飞速发展,对网页文本数据的组织和检索技术,已成为当今国际上研究热点之一。文本聚类作为一种对大规模文本信息进行有效组织、导航、检索和概括汇总的基础、关键技术而日益受到关注,其主要目的是以无监督指导的方式根据文本的内在关系将内容近似的文本分成不同的类。文本聚类技术和网络搜索引擎服务相结合,已经成为文本挖掘领域的一个热点研究课题。但是,把文本聚类技术应用于中文Web文档,与中文搜索引擎服务相结合的研究仍然比较匮乏。针对这一实际问题,根据四川省科技厅青年软件创新课题“基于Web的数据挖掘服务系统-MinerOnWeb”,对中文Web文档的文本聚类技术进行研究。本课题的核心研究之一——基于短语匹配的中文Web文档聚类方法,是为了弥补传统的文本表示模型应用于中文文档不足而发展出来的一种新方法。传统的中文文本聚类方法需要对高维向量进行处理,有对中文文本需要进行分词处理等困难。本文提出的一种新的文本聚类方法,采用一种称为文档索引图的结构来构建中文文本表示模型。在这种模型之上,可以利用文本当中任意匹配的短语来定义文本之间的近似程度,避免了对中文文本进行分词以及处理高维向量等问题。再利用增量的聚类算法,可以将文本按照主题进行聚类处理,将主题相近的文档聚合在一起。本课题实现了基于短语匹配的中文Web文档聚类方法,并将其作为中文搜索引擎结果聚类子系统实现于MinerOnWeb系统中。MinerOnWeb系统是一个基于Web应用的数据挖掘服务系统,提供多种在线的数据挖掘服务。利用我们的中文搜索引擎结果聚类子系统,可以对中文搜索引擎返回的搜索结果进行聚类处理,并将搜索结果按主题进行展示。

论文目录

• 第一章 引言
• 1.1 研究背景和意义
• 1.2 本文主要工作
• 1.3 本文章节安排
• 第二章 WEB 文本聚类技术概述
• 2.1 WEB 文本聚类技术背景
• 2.2 不考虑文本语序的聚类方法
• 2.2.1 向量空间模型
• 2.2.2 相似度计算方法
• 2.2.3 聚类算法
• 2.3 对于中文文本聚类时需要考虑的问题
• 2.3.1 现有的中文分词技术
• 2.3.2 中文分词技术中的难题
• 2.3.3 对“中文分词＋VSM 模型”的聚类方式思考
• 2.4 考虑文本语序的聚类方法
• 2.4.1 后缀树模型
• 2.4.2 利用后缀树进行聚类
• 2.5 小结
• 第三章 一种新的基于短语匹配的中文文本聚类算法
• 3.1 引言
• 3.2 文档索引图模型
• 3.2.1 文档索引图的定义
• 3.2.2 表示文档索引图的数据结构
• 3.2.3 文档之间相似度的定义
• 3.2.4 文档索引图的构造过程
• 3.2.5 文档索引图的复杂度分析
• 3.3 增量的在线聚类算法
• 3.3.1 增量聚类算法
• 3.3.2 基于相似度区间的增量聚类方法
• 3.3.3 增量聚类算法描述
• 3.3.4 算法的复杂度分析
• 3.4 小结
• 第四章 MINERONWEB 数据挖掘服务系统
• 4.1 系统的开发背景与设计特点
• 4.1.1 系统的目标
• 4.1.2 系统的特点
• 4.2 技术路线和总体设计
• 4.2.1 技术路线
• 4.2.2 系统总体设计和模块划分
• 4.2.3 系统结构
• 4.2.4 系统的运行部署
• 4.3 应用服务器端的实现
• 4.4 WEB 端的实现
• 4.5 小结
• 第五章 中文搜索引擎结果聚类子系统的设计与实现
• 5.1 前言
• 5.2 中文搜索引擎结果聚类子系统概述
• 5.3 重要数据结构的定义
• 5.4 应用服务器端的设计与实现
• 5.4.1 应用服务器端的需求分析
• 5.4.2 服务器端的模块划分
• 5.4.3 获取搜索结果模块
• 5.4.4 文档索引图构造模块
• 5.4.5 聚类算法模块
• 5.4.6 重构搜索结果展示页面模块
• 5.4.7 应用服务器端EJB 组件的设计和封装
• 5.5 WEB 端的设计与实现
• 5.6 运行结果分析
• 5.7 小结
• 第六章 结论和展望
• 致谢
• 参考文献
• 附录1
• 附录2
• 附录3
• 附录4
• 硕士期间研究成果