基于粗糙集属性约简的决策树分类算法的研究

论文摘要

科学技术的发展,尤其是人工智能技术的发展,使得数据挖掘在信息处理领域得到了空前的发展。数据挖掘是对大量的甚至是海量的数据进行处理、分析,得出对人们有用的结论或者决策建议,为电子购物,商业分析,灾难救助,医疗卫生等领域提供决策。数据挖掘中一个重要任务是对数据进行整理分类,分类算法多种多样,如神经网络、关联规则、决策树等。其中决策树分类是最常用的一种分类方法,因为其有着速度较快,准确性高,容易被人理解,可伸缩性强等优点。然而在具体的应用过程中,决策树分类方法也存在许多问题,例如生成的树过于庞杂,而且生成树的效率比较低,因此,对决策树算法做进一步的优化和改进有着非常重要的意义。本文概述了数据挖掘,尤其是数据分类以及粗糙集理论相关知识,并对基于粗糙集理论的决策属性约简方法以及各种决策树分类方法做了分析比较。针对常用的属性约简算法以及决策树分类算法在剪枝过程中存在的不足,本文对如何优化决策树算法做了有意义的探索,主要做的研究工作如下：(1)利用粗糙集中属性依赖度的概念,对常用的基于属性重要度的约简算法进行改进,在保持约简能力不变的前提下降低了约简时间的复杂度,并通过实验验证了新算法的有效性。(2)利用Weka数据分析工具,找出了预剪枝算法中G,M参数的最佳组合,使得在决策树生成阶段,既能够控制决策树的规模,又能够保持较高的分类精度。同时对后剪枝算法EBP中样本错分率采用拉普拉斯矫正,提高了决策树的分类精度,最后使用标准的UCI测试数据集验证了新算法的有效性。(3)将改进后的算法应用于实际的医院管理分析系统中,利用真实的心脏病数据库挖掘出了预测心脏病的九条规则,为门诊医生以及医疗专家提供了有价值的参考信息。

论文目录

• 摘要
• ABSTRACT
• 第一章 前言
• 1.1 研究的背景及意义
• 1.2 国内外研究现状
• 1.2.1 决策树研究现状
• 1.2.2 粗糙集属性约简的研究现状
• 1.3 研究内容
• 1.4 组织结构
• 第二章 数据分类与粗糙集的相关理论知识
• 2.1 数据挖掘的概念与技术
• 2.2 数据分类及其标准
• 2.3 常用的分类算法
• 2.3.1 贝叶斯分类
• 2.3.2 神经网络分类
• 2.3.3 决策树算法
• 2.3.4 小结
• 2.4 粗糙集理论的相关知识
• 2.4.1 粗糙集的相关概念
• 2.4.2 粗糙集理论的应用
• 2.5 本章小结
• 第三章 基于依赖度的改进的属性约简方法
• 3.1 常用的属性约简算法
• 3.1.1 基于区分矩阵的方法
• 3.1.2 基于信息熵的属性约简方法
• 3.1.3 一般的约简方法
• 3.2 基于依赖度的改进的约简方法
• 3.2.1 算法分析
• 3.2.2 实验分析
• 3.2.3 应用实例
• 3.3 本章小结
• 第四章 决策树剪枝算法
• 4.1 引言
• 4.2 预剪枝算法与EBP剪枝算法介绍
• 4.2.1 预剪枝算法
• 4.2.2 EBP剪枝算法
• 4.3 拉普拉斯矫正
• 4.4 改进的剪枝算法PAPP（Pre And Post Pruning-PAPP）
• 4.5 实验结果分析
• 4.6 本章小结
• 第五章 改进算法在医院管理分析系统中的应用
• 5.1 引言
• 5.2 应用描述
• 5.3 实现过程
• 5.4 结果分析
• 5.5 本章小结
• 第六章 结论与展望
• 6.1 总结
• 6.2 存在的问题
• 6.3 下一步工作方向
• 参考文献
• 致谢
• 硕士学位期间发表的学术论文
• 硕士学位期间参与的科研项目