SOM算法的改进及其在中文文本聚类的应用

论文摘要

近几十年来,国外学者对英文文本聚类投入了大量研究工作,并取得了些优秀的成果。与英文文本聚类相比,中文文本聚类技术研究和应用起步较晚,文本聚类效果普遍不太理想。针对此现状,本文对中文文本聚类技术进行深入研究。重点在于改进经典SOM算法,并应用于中文文本聚类中。本文研究工作主要涵盖以下四点内容：(1)研究中文文本聚类技术,包括中文分词、停用词过滤、特征选择等中文预处理技术以及各种聚类分析算法。(2)针对特征项维数灾难导致计算负载过大,在预处理中引入同义词合并技术,实现特征空间的语义降维,提高系统聚类速度和准确性。(3)重点研究经典SOM算法,针对其聚类数目需预先输入、网络结构固定、初始化效果不理想以及聚类结果依赖样本输入顺序,提出一种改进的自增长SOM算法予以解决之。(4)采用C#.net技术设计实现了基于改进的SOM算法的《中文文本聚类系统》平台。然后进行了系统测试评估,评估结果表明改进SOM算法可以改善系统聚类效果。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景与意义
• 1.2 课题来源
• 1.3 国内外研究现状
• 1.4 论文组织结构
• 第2章 中文文本聚类技术
• 2.1 文本聚类概述
• 2.1.1 文本聚类的过程
• 2.1.2 文本类的定义
• 2.1.3 文本的相似度计算
• 2.2 中文预处理
• 2.2.1 文本表示
• 2.2.2 中文分词
• 2.2.3 停用词过滤
• 2.2.4 同义词合并
• 2.2.5 权重计算
• 2.2.6 特征选择
• 2.3 聚类分析
• 2.3.1 基于划分的算法
• 2.3.2 基于层次的算法
• 2.3.3 基于密度的算法
• 2.3.4 基于模型的算法
• 2.3.5 基于网格的算法
• 2.4 聚类效果评估
• 2.5 本章小结
• 第3章 自组织映射神经网络的研究与改进
• 3.1 自组织映射神经网络
• 3.1.1 SOM拓扑结构
• 3.1.2 SOM算法描述
• 3.1.3 SOM网络特性
• 3.1.4 SOM存在的缺陷
• 3.2 自组织映射网络的改进
• 3.2.1 问题的提出
• 3.2.2 网络拓扑结构
• 3.2.3 关键因子设定
• 3.2.4 改进算法描述
• 3.3 算法分析
• 3.4 本章小结
• 第4章 文本聚类系统的设计与实现
• 4.1 系统流程图
• 4.2 功能模块
• 4.2.1 中文分词
• 4.2.2 特征降维
• 4.2.3 聚类分析
• 4.2.4 输出结果
• 4.3 运行情况
• 4.4 本章小结
• 第5章 实验结果与分析
• 5.1 实验环境
• 5.2 语料来源
• 5.3 测试评估
• 5.4 本章小结
• 第6章 结论与展望
• 6.1 结论
• 6.2 展望
• 致谢
• 参考文献
• 攻读学位期间的研究成果