基于聚类技术的网页分类应用 ——基于后缀树的中文文本聚类方法

论文摘要

随着互联网的快速发展,网络在人们日常生活工作中所起到的作用越来越重要。网络已经成为新的信息承载媒体。与此同时,互联网的规模也以爆炸性的速度在扩大。包含着大量信息的海量网页还在以惊人的速度增长着。所以,如何对存在于海量网页中的信息做到快速准确的提取、呈现,方便使用者查询,就是迫切需要解决的问题了。本文围绕着如何对海量文章进行快速、准确的分类,并且明了的将分类结果表示出来,方便用户查询等问题进行研究,研究内容和取得的成果主要是在网页内容的分类和分类结果的描述方面。针对于常见的互联网搜索结果中重复、无用、与搜索主题相关度不高的情况,引入了分类方法。网页的分类是方便互联网信息查询的一种有效手段,同时也是信息查询的一种新的发展方向。通过对互联网中网页的分类,可以将网页按照内容的不同进行相应的分类。由于后缀树聚类算法STC(Suffix Tree Clustering)的线性构造时间优势,聚类结果适合实际应用等特点,本文结合实际情况,尝试采用后缀树聚类算法STC(Suffix Tree Clustering)对网页进行分类。以实际的使用环境为前提,提高算法执行过程中的执行效率,同时改进对分类结果的描述,便于结果的查询,提高实际使用效率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题来源
• 1.2 与本课题相关的算法组成部分简介
• 1.2.1 中文分词
• 1.2.2 特征空间
• 1.2.3 聚类算法
• 1.3 本文结构与内容
• 第二章 文本聚类及其算法概述
• 2.1 文本聚类概述
• 2.1.1 分词
• 2.1.2 特征空间的构建
• 2.1.3 特征空间的降维
• 2.1.4 聚类过程
• 2.1.5 类别描述
• 2.2 聚类质量的评测
• 第三章 基于后缀树聚类的中文文本聚类
• 3.1 问题描述
• 3.2 相关定义
• 3.3 后缀树的构造
• 3.4 后缀树聚类算法
• 3.5 对后缀树聚类算法的改进
• 3.5.1 加入词性判断
• 3.5.2 评测方法以及实验设计
• 3.5.3 实验结果及分析
• 3.6 本章结论
• 第四章 对后缀树聚类算法中类别合并的改进
• 4.1 问题描述
• 4.2 对后缀树聚类算法的分析
• 4.3 对后缀树算法做出改进
• 4.4 实验设计与分析
• 4.5 本章结论
• 第五章 结论与展望
• 5.1 本文的结论
• 5.2 工作展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文