基于流形学习的数据降维算法研究

论文摘要

数据降维是将高维空间数据映射到低维空间的过程。作为数据降维的一个重要组成部分,流形学习能够挖掘出高维数据中潜在非线性流形结构信息,并得到高维数据在低维空间的紧致嵌入,与人脑视觉认知机制相一致。流形学习是二十世纪末期提出的数据降维方法,经过近二十年的发展,已广泛应用于模式识别、机器学习和数据挖掘等信息处理领域。因此在人脸识别、指纹识别、步态识别、文档分类、图像检索和聚类分析以及数据可视化等应用领域中扮演越来越重要角色。本文的主要研究工作及创新点包括:本文从流形学习框架入手,将监督学习、张量学习以及稀疏子空间学习引入流形学习方法中,进一步完善了图嵌入框架模型,从统一的角度分析已有的流形学习方法,并指出现有流形学习方法存在的问题和不足,用以指导新的流形学习降维模型开发。为了解决传统流形学习方法不能很好利用分类问题中样本标签信息的缺点,基于图嵌入框架的分析结果,本文结合PCA和LPP算法各自的优势,提出正交判别的松弛保持投影算法(DOEPP)。该方法基于数据样本构建局部图和先验图,近似重建高维数据隐含的流形结构,并在传统方法的图优化目标函数基础上,增加了投影矩阵正交和样本最大间隔准则约束,最终将目标优化转换为广义特征分解问题进行求解。在人脸识别实验中,该方法的识别效果大都优于现有流形学习算法。为了解决传统流形学习方法构图模型的噪声鲁棒性问题,本文利用稀疏表示模型对噪声鲁棒的优点,对稀疏表示的残差分布进行了深入分析,提出了鲁棒稀疏表示模型;本文以稀疏表示系数作为图模型中边的权重度量,提出了两种基于鲁棒稀疏表示的构图模型:RRL2和RRSL2。RRL2和RRSL2通过鲁棒稀疏模型求解相似性度量矩阵,将稀疏信息引入流形学习算法的图构建过程,进而增加了流形学习图模型的抗噪声能力;最后在鲁棒稀疏图模型基础上,提出稀疏判别的局部保持投影算法和稀疏正交判别松弛保持投影算法,进一步提高了流形学习算法分类识别性能。通过在仿真流形数据和人脸数据集上的对比实验,进一步验证了本文算法的合理性和有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 基于流行学习的数据降维发展历史
• 1.2.2 国内外研究机构
• 1.3 论文主要工作
• 1.4 论文的组织结构
• 第二章 基于流形学习的数据降维算法框架
• 2.1 流形与流形学习
• 2.1.1 流形的概念
• 2.1.2 流形学习的基本思想
• 2.1.3 流形学习的基本假设
• 2.2 基于流形学习的数据降维理论框架
• 2.2.1 基于流形学习的数据降维框架
• 2.2.2 流形学习中的距离度量
• 2.2.3 经典流形学习降维算法在图嵌入框架下的解释
• 2.3 流形学习中的问题
• 2.4 本章小结
• 第三章 基于正交判别的张量流形学习方法研究
• 3.1 引言
• 3.2 典型流形学习算法
• 3.2.1 基于流形学习的数据降维算法的问题描述
• 3.2.2 MMC
• 3.2.3 ONPP
• 3.2.4 EPP
• 3.3 改进松弛保持投影
• 3.3.1 正交判别的松弛保持投影算法（DOEPP）
• 3.3.2 DOEPP的张量化扩展—2DDOEPP
• 3.4 实验结果与分析
• 3.4.1 数据集
• 3.4.2 参与比较的流形学习方法
• 3.4.3 DOEPP参数选择
• 3.4.4 算法对比与实验结果
• 3.5 本章小结
• 第四章 基于鲁棒稀疏图模型的流形学习降维方法研究
• 4.1 引言
• 4.2 图嵌入框架下的构图模型
• 4.3 基于鲁棒稀疏图模型的流形学习算法
• 4.3.1 鲁棒稀疏图模型构建
• 4.3.2 SDOEPP和SDLPP
• 4.3.3 增量扩展
• 4.3.4 算法复杂度分析
• 4.4 实验结果与分析
• 4.4.1 数据集
• 4.4.2 参与比较的流形学习方法
• 4.4.3 SDLPP参数选择
• 4.4.4 算法对比与实验结果
• 4.5 本章小结
• 第五章 结论与展望
• 5.1 工作总结
• 5.2 研究展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 作者在学期间参与的科研项目
• 附录