粗糙集理论在决策树中的应用

论文摘要

分类在数据挖掘中是一项非常重要的任务,本文研究的分类技术是决策树。这里为什么选择决策树昵?首先,与神经网络或贝叶斯分类相比,决策树更易被用户理解;其次,基于神经网络上的训练会花费大量的时间和几千次的迭代,而生成决策树的效率更高、更适合大训练集,而且,决策树的生成算法不需要处理训练集之外的额外信息;最后,与其他技术相比,其精确度较高。但是决策树技术也有它的缺点:一方面,它无法删除带噪声的不相关的属性;另一方面,大多数决策树被限制在每个结点上只检验单个属性。 为了克服这些困难,本文引入了粗糙集技术。粗糙集理论作为信息科学的一种新的逻辑和研究方法,它是处理模糊和不精确知识的数学工具,具有很强的知识获取能力。粗糙集理论的优越性在于将分类和知识联系在一起,认为知识即是将对象进行分类的能力。尽管粗糙集理论对知识的不完全的处理是有效的,但是这个理论不是万能的,它的容错能力和推广能力相对较弱,这意味着需要其它方法补充。 面对决策树技术和粗糙集各自的优缺点,本文将二者结合起来,取长补短,发挥各自的优势。首先有限制地增加每个结点包含的属性个数,然后由重新定义的属性依赖度和基于条件熵的距离函数选择相关的属性组合作为属性选择的标准,从而提出一种新的多变量决策树构造算法。 一般地,决策树生成的规则不是最简的,本文将粗集中的值约简用于决策树的修剪过程中,生成一种新的基于值核的极小化方法,并提出约简规则的判定准则,缩小了约简的范围,然后再对生成的规则进行极大化处理,以保证规则覆盖信息的一致性,最后得到最简规则。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 背景知识
• 1.1.1 数据挖掘的社会需求
• 1.1.2 数据挖掘的概念
• 1.1.3 数据挖掘的任务
• 1.1.4 数据挖掘的方法
• 1.2 研究内容
• 1.3 本文内容安排
• 第二章 决策树基本算法
• 2.1 用决策树归纳分类
• 2.2 决策树基本算法
• 2.2.1 决策树生成算法
• 2.2.2 决策树的修剪
• 2.3 决策树 ID3算法
• 2.3.1 基本概念
• 2.3.2 ID3算法
• 2.4 属性选择的其他度量标准
• 2.4.1 信息增益比率
• 2.4.2 基于信息墒的距离函数
• 2.5 实例分析
• 2.6 小结
• 第三章 粗糙集
• 3.1 粗糙集简介
• 3.2 粗糙集的基本概念与理论基础
• 3.2.1 知识与知识库
• 3.2.2 知识表达系统
• 3.2.3 决策信息系统
• 3.3 粗糙集理论的特点
• 3.4 基于粗糙集理论的数据挖掘
• 3.5 粗糙集理论的应用
• 3.6 小结
• 第四章 结合粗糙集理论的多变量决策树
• 4.1 决策树技术的优缺点
• 4.2 对属性依赖度的重新定义
• 4.3 相对泛化的概念
• 4.4 关于结点包含属性的控制
• 4.5 条件属性的选择
• 4.6 多变量决策树的构造算法
• 4.7 实例分析
• 4.8 小结
• 第五章 基于值约简和决策树的最简规则提取算法
• 5.1 基于粗糙集的值约简
• 5.2 规则的支持度
• 5.3 决策树规则简化
• 5.3.1 约简规则的判定准则
• 5.3.2 新的极小化方法
• 5.3.3 极大化算法
• 5.4 最小分类规则集生成算法
• 5.5 实例分析
• 5.6 小结
• 结论
• 致谢
• 参考文献
• 附录 A （攻读学位期间发表论文目录）