基于粗糙集理论的数据挖掘算法的研究

论文摘要

随着网络技术和信息技术的不断进步,数据挖掘引起了人们的广泛关注,传统的信息处理技术越来越不能很好地满足实际应用的需要。因此,人们迫切需要具有更高效率和更强能力的信息处理技术。Pawlak提出的粗糙集理论是一种全新的处理模糊性、不确定性问题的数学工具,它无需提供数据集合之外的任何先验信息,而是利用集合上的等价关系对知识的不确定程度进行度量,这使得粗糙集理论在数据挖掘中具有更加明显的优越性。将粗糙集理论应用到数据挖掘中,需要经过数据预处理、求核属性、属性约简、规则生成等几个步骤。本文以粗糙集理论在数据挖掘过程中的步骤为线索,主要对连续属性离散化、求取决策表的核值属性、决策表的属性约简等问题进行了深入的研究。本文的主要创新工作包括:提出一种基于粗糙集理论和OPTICS算法相结合的连续属性离散化算法。运用粗糙集理论处理决策表时,要求决策表中的值用离散数据表示。因此,在深入分析和研究几种离散化算法优缺点的基础上,提出一种基于粗糙集理论和OPTICS算法相结合的连续属性离散化算法。该算法是以粗糙集理论中的依赖度作为评价机制,更好的保持了条件属性和决策属性的不可分辨关系,该算法也是一种全局的离散化算法,离散化后的信息系统更具有整体性。通过实验验证,该算法能够得到理想的离散化结果。提出一种改进的基于属性重要性的启发式约简算法。通过研究发现,基于属性重要性和基于信息熵作为启发信息的属性约简算法都是不完备的。综合考虑这两种启发信息,以粗糙集理论为依据,以属性重要性为主要标准,信息熵为辅助标准,提出一种改进的基于属性重要性的启发式约简算法。通过实验验证,该算法是个更加完备、更加合理的算法。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的目的和意义
• 1.2 国内外研究现状
• 1.3 数据挖掘的应用
• 1.3.1 数据挖掘的典型应用
• 1.3.2 粗糙集理论在数据挖掘中的应用
• 1.4 数据挖掘过程
• 1.4.1 数据挖掘的一般过程
• 1.4.2 基于粗糙集理论的数据挖掘过程
• 1.5 论文背景及研究内容
• 1.6 论文的组织结构
• 第2章 粗糙集理论及相关技术
• 2.1 知识与知识库
• 2.2 粗糙集的近似
• 2.3 知识约简
• 2.4 知识的依赖性
• 2.5 信息系统与决策表
• 2.6 可辨识矩阵
• 2.7 粗糙集理论的信息论观点描述
• 2.8 相关技术
• 2.8.1 OPTICS 算法的相关定义
• 2.8.2 OPTICS 算法描述
• 2.8.3 可达图
• 2.9 本章小结
• 第3章 连续属性离散化
• 3.1 离散化问题的分类及原则
• 3.2 离散化问题的描述
• 3.3 离散化算法介绍与分析
• 3.3.1 等距离划分方法
• 3.3.2 等频率划分方法
• 3.3.3 Naive Scaler 离散化算法
• 3.3.4 布尔逻辑和粗糙集理论相结合的离散化算法
• 3.4 基于OPTICS 聚类算法的连续属性离散化算法
• 3.4.1 算法思想
• 3.4.2 基于粗糙集理论和OPTICS 算法的连续属性离散化算法
• 3.4.3 算法分析
• 3.4.4 实验分析
• 3.5 本章小结
• 第4 章 属性约简
• 4.1 几种典型的属性约简算法
• 4.2 属性约简的启发式算法
• 4.2.1 基于属性频率函数的启发式约简算法
• 4.2.2 基于互信息的启发式约简算法-MIBARK 算法
• 4.2.3 基于属性重要性的启发式属性约简算法
• 4.3 改进的基于属性重要性的启发式属性约简算法
• 4.3.1 决策表核属性集合的计算方法
• 4.3.2 改进的基于属性重要性的启发式属性约简算法
• 4.3.3 算法分析
• 4.3.4 实验分析
• 4.4 本章小结
• 结论
• 参考文献
• 致谢