面向数据挖掘的分类器集成研究

论文摘要

分类是数据挖掘的一项主要任务。分类器设计是决定分类性能的关键因素之一。近年来,分类器集成学习由于其在降低分类系统泛化误差、简化分类器设计等方面的优良表现,成为人工智能、机器学习、模式识别、神经计算等领域的研究人员以及各工程应用领域中的技术人员共同关心的一个研究热点。本文在全面介绍分类器集成的研究现状、工作机理和发展趋势的基础上,提出了用于提高分类器集成系统分类性能、扩大其应用范围的多种算法。包括:(1)在分析了集成的整体性能与成员分类器性能和多样性之间关系的基础上,提出了一种基于聚类的分类器选择集成算法。该算法以多样性作为聚类距离,以准确性作为选择标准,能够显著提高原系统的多样性及分类性能。(2)利用分布估计算法对特征集进行优化选择建立分类器集成。经过优化选择不仅降低了集成规模,而且提高了集成的整体性能。(3)研究了如何利用集成方法进行缺失数据的分类。提出了一种利用分类器集成进行缺失数据分类的算法。该算法对数据缺失机制不作任何假定,而且可以处理测试样本中新的缺失模式。(4)研究了如何利用集成进行自适应的分类系统增量学习。提出了一种基于两级假设检验的学习方法。既避免了对旧知识的“灾难性遗忘”,又增强了学习的“稳定性”。

论文目录

• 提要
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 国内外研究进展概述
• 1.2.1 实现方法研究
• 1.2.2 理论研究
• 1.2.3 应用研究
• 1.3 分类器集成的基本概念
• 1.3.1 系统组成结构
• 1.3.2 成员分类器的结果表达方式
• 1.3.3 分类结果组合方法
• 1.4 分类器集成研究存在的问题
• 1.5 论文主要研究内容
• 1.6 论文总体结构
• 第二章 基于聚类的分类器集成学习
• 2.1 集成的性能与多样性
• 2.2 分类器性能和多样性度量方法
• 2.2.1 分类器的性能度量
• 2.2.2 多样性的度量
• 2.3 基于聚类的分类器集成方法
• 2.3.1 成员分类器的生成方法
• 2.3.2 聚类选择
• 2.3.3 结论组合
• 2.4 实验及分析
• 2.5 小结
• 第三章 基于特征集优化选择的分类器集成学习
• 3.1 特征选择
• 3.1.1 分类器学习中的Hughes现象
• 3.1.2 特征选择与提取
• 3.2 基于特征选择的分类器集成方法
• 3.3 EDA优化算法
• 3.3.1 遗传算法及其存在的问题
• 3.3.2 EDAs算法的演化及分类
• 3.4 基于特征集优化选择的分类器集成方法
• 3.4.1 候选特征集合的生成
• 3.4.2 种群描述及适应度度量
• 3.4.3 BN概率模型
• 3.4.4 新个体的生成
• 3.5 实验
• 3.6 小结
• 第四章 面向缺失数据的分类器集成学习
• 4.1 缺失数据集处理的研究状况
• 4.2 数据缺失机制与原因
• 4.3 缺失数据处理方法
• 4.3.1 删除法
• 4.3.2 参数估计法
• 4.3.3 单值插补法
• 4.3.4 多值插补法
• 4.4 面向缺失数据的分类器集成方法
• 4.4.1 缺失模式学习
• 4.4.2 构建分类器
• 4.4.3 分类测试
• 4.5 实验分析及讨论
• 4.5.1 数据集
• 4.5.2 性能比较与讨论
• 4.6 小结
• 第五章 基于集成的分类器增量学习
• 5.1 增量学习及概念飘移现象
• 5.1.1 增量学习的意义及方法
• 5.1.2 概念飘移
• 5.2 朴素Bayes分类器增量学习
• 5.2.1 参数估计的递归贝叶斯方法
• 5.2.2 基于递归贝叶斯方法的朴素Bayes分类器增量学习
• 5.3 基于集成的朴素Bayes分类器增量学习
• 5.3.1 基于假设检验的概念飘移检测
• 5.3.2 分类系统的更新
• 5.3.3 对新样本的分类
• 5.3.4 参数分析
• 5.4 实验
• 5.4.1 数据集
• 5.4.2 性能比较
• 5.4.3 讨论
• 5.5 小结
• 第六章 结论
• 参考文献
• 攻读博士学位期间的研究成果
• 致谢
• 摘要
• Abstract