面向高维数据的特征选择算法研究

论文摘要

互联网时代,网络已成为最大的信息聚集地。特别是因特网的快速发展,信息及电子文本数目迅速增加。据统计,互联网中80%的数据是以非结构化的形式存在的,如Web页面、电子邮件、基因数据、图像等。由于这些数据的半结构化甚至于无结构化的特点,使得表示这些数据的特征向量高达几万维甚至于几十万维。特征维数的庞大引起了维度灾难(curse of dimensionality),这对文本分类,信息检索,基因工程,计算机视觉等问题造成了极大的障碍。所以我们引入特征选择,通过它来移除不相关的特征,检测出冗余的特征,得到一个较小、较优的特征子集,最终达到维数约简的目的。与此同时提高学习算法的泛化性能和运行效率,得到更加简单和容易理解的学习模型。本文关注的焦点是高维数据的特征选择以及基于特征选择的集成聚类。研究重点主要包括以下两个方面：一、我们提出了一种基于稀疏表示的组合式特征选择方法。首先我们利用相关性特征选择方法(如IG、EVSC等)去除不相关的特征,然后引入用稀疏表示的方法来探测冗余特征,结合这两个方式得到最优特征子集。在多个高维数据集上的实验结果表明,从分类／聚类准确率,特征子集大小等多角度考察该算法具有良好的综合性能。二、从聚类成员质量和个体差异度两方面出发,提出了一种适于高维数据的基于特征分层抽样的集成聚类算法。实验表明,在高维数据集上,我们实现的基于特征分层抽样的集成聚类算法优于基于随机特征选择和随机特征投影的集成聚类算法。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 引言
• 1.1 高维数据挖掘
• 1.2 国内外研究现状
• 1.3 研究目的和意义
• 1.4 论文结构及章节安排
• 1.5 本章小结
• 2 特征选择概述
• 2.1 特征选择的一般过程
• 2.1.1 产生过程
• 2.1.2 评价函数
• 2.1.3 停止准则
• 2.1.4 子集验证
• 2.2 特征选择算法的选用
• 2.3 本章小结
• 3 基于稀疏表示的组合式特征选择算法
• 3.1 经典特征选择算法
• 3.1.1 信息增益（IG）
• 2统计（CHI）'>3.1.2 χ²统计（CHI）
• 3.1.3 SPEC
• 3.1.4 SAM
• 3.1.5 EVSC
• 3.2 基于稀疏表示的组合式特征选择算法
• 3.3 实验结果及分析
• 3.3.1 有监督特征选择算法中的实验结果及分析
• 3.3.2 无监督特征选择算法中的实验结果及分析
• 3.4 本章小结
• 4 基于特征分层抽样的集成聚类算法
• 4.1 集成聚类概述
• 4.1.1 集成聚类的一般过程
• 4.1.2 集成聚类的有效性条件
• 4.2 基于特征分层抽样的数据子空间的生成
• 4.2.1 相关工作
• 4.2.2 算法描述
• 4.3 基于分层抽样的集成聚类
• 4.4 实验结果及分析
• 4.4.1 实验数据及其描述
• 4.4.2 对比实验
• 4.4.3 实验性能指标
• 4.4.4 实验结果及分析
• 4.5 本章小结
• 5 结论
• 5.1 论文总结
• 5.2 作展望
• 参考文献
• 作者简历
• 学位论文数据集