基于遗传算法等技术的数据与文本聚分类研究

论文摘要

数据挖掘和文本挖掘是当前信息技术中的一个重要研究领域;将软计算方法之一的遗传算法应用于数据及文本挖掘方法研究,具有较大的理论意义和实用价值。本文研究了基于遗传算法和社会演化算法的数据挖掘和文本挖掘方法,主要包括数据挖掘和文本挖掘中的属性约简问题、聚类问题。所做主要工作内容包括:提出一种基于遗传算法和k-medoids算法的新的聚类方法。该方法既可以很好地解决局部最优的问题,也可以很好地解决孤立点的问题,同时用于和k-medoids算法相结合,可以加快遗传算法的收敛速度,节约了时间成本。采用遗传算法和模式聚合进行文本特征降维。模式聚合可以有效降低文本特征的维数,使得特征从几千维降为几百维,在此基础上采用遗传算法继续降维。采用遗传算法和潜在语义索引进行文本特征降维。潜在语义索引通过奇异值分解可以有效地降低向量空间的维数。在此基础上采用遗传算法继续降维。采用社会演化算法进行聚类。K均值聚类算法通常只能以局部最优结束,很难找到全局最优。本文提出一种基于社会演化算法和K均值算法相结合的聚类新方法。在该方法中提出了认知主体在聚类中对范式学习的新的方式。采用混沌社会演化算法进行聚类。在认知主体对范式的背叛中采用混沌变异算子。实验证明该方法不但能提高聚类的效率而且能提高聚类的精度。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题的研究背景和意义
• 1.2 数据挖掘与文本挖掘概述
• 1.2.1 数据挖掘概述
• 1.2.2 文本挖掘概述
• 1.3 遗传算法应用研究综述
• 1.3.1 遗传算法理论概述
• 1.3.2 遗传算法在其它领域的应用性研究
• 1.3.3 遗传算法用于聚类的研究概况
• 1.3.4 遗传算法用于文本特征降维的研究概况
• 1.4 社会演化算法在数据和文本聚类中的应用
• 1.5 本文的主要工作和创新点
• 第二章 基于遗传算法和k-medoids算法相结合的聚类方法
• 2.1 引言
• 2.2 K-medoids算法简介
• 2.3 基于遗传算法和k-medoids算法相结合的聚类方法
• 2.3.1 遗传算法的特点
• 2.3.2 算法流程
• 2.3.3 对个体进行编码和初始种群的生成
• 2.3.4 适应度函数的确定
• 2.3.5 选择算子的实现
• 2.3.6 用k-medoids算法进行优化
• 2.3.7 交叉算子的实现
• 2.3.8 变异算子的实现
• 2.4 仿真实验
• 2.5 本章小结
• 第三章 基于模式聚合和遗传算法的文本特征降维方法
• 3.1 引言
• 3.2 常用的文本特征降维方法及其缺点
• 3.3 文本分类的预处理
• 3.3.1 文本的特征表示
• 3.3.2 文本的降维处理
• 3.4 模式聚合理论简介
• 3.4.1 CHI概率统计
• 3.4.2 模式聚合
• 3.5 基于遗传算法的文本特征提取方法
• 3.5.1 对个体进行编码和初始种群的生成
• 3.5.2 适应度函数的确定
• 3.5.3 特征种群的遗传操作
• 3.6 基于模式聚合和遗传算法的文本特征降维方法
• 3.7 仿真实验
• 3.7.1 实验1
• 3.7.2 实验2
• 3.7.3 实验3
• 3.8 本章小结
• 第四章 基于潜在语义索引和遗传算法的文本特征降维方法
• 4.1 引言
• 4.2 向量空间模型（VSM,Vector Space Model）
• 4.3 隐含语义分析理论简介
• 4.3.1 词条矩阵
• 4.3.2 奇异值分解
• 4.3.3 k秩近似矩阵的选取
• 4.4 基于遗传算法的文本特征降维方法
• 4.4.1 对个体进行编码和初始种群的生成
• 4.4.2 适应度函数的确定
• 4.4.3 特征种群的遗传操作
• 4.5 基于潜在语义索引和遗传算法的文本特征降维方法
• 4.6 仿真实验
• 4.6.1 实验1
• 4.6.2 实验2
• 4.6.3 实验3
• 4.7 本章小结
• 第五章 基于社会演化算法的聚类新方法
• 5.1 引言
• 5.2 社会演化算法与传统遗传算法寻优机制的比较
• 5.3 基于社会演化算法的聚类新方法
• 5.3.1 认知主体的推理过程
• 5.3.2 基于“范式学习与更新”的进化寻优过程
• 5.4 仿真实验
• 5.5 本章小结
• 第六章 基于混沌的新的社会演化算法的数据和文本聚类方法
• 6.1 引言
• 6.2 混沌理论简介
• 6.3 基于混沌的新的社会演化算法的聚类方法
• 6.3.1 基于K均值算法的认知主体推理过程
• 6.3.2 基于“范式学习与更新”的进化寻优过程
• 6.4 仿真实验
• 6.4.1 实验分析1
• 6.4.2 实验分析2
• 6.5 本章小结
• 第七章 总结和展望
• 7.1 全文总结
• 7.2 存在的问题和研究前景展望
• 7.2.1 存在的问题
• 7.2.2 研究前景展望
• 参考文献
• 发表论文和参加科研情况说明
• 致谢