基于数据局部结构信息的特征提取中的关键问题研究

论文摘要

很多现实世界中的应用,特别是在模式识别,机器学习,计算机视觉和数据挖掘领域中,都涉及到对高维数据的处理。特征提取和维数约简的方法因为能够找到数据最理想的低维表示而在这些领域中扮演了重要的角色。而在这些方法中,由于具有比其它方法更为显著的优势,线性特征提取方法成为了一种流行的维数约简的工具。最近几年,随着流形学习的发展,数据的局部结构由于隐含了数据的潜在信息引起了越来越多的注意。与全局维数约简方法不同,流形学习方法试图找到嵌入在数据输入空间的低维流形结构。传统的流形学习方法,如ISOMAP,LLE和Laplacian Eigenmaps,通过非监督学习的方式来寻求数据的低维流形。为了挖掘局部判别流形结构,局部判别分析方法在鉴别潜在子流形结构的同时引入了数据的判别信息。从数学的角度看,这些维数约简方法都可以统一用关系图嵌入框架来解释,所不同的只是它们中内在相似图和惩罚图的构造规则。然而,这些局部判别方法仍然存在一些缺陷,如维度灾难,增量学习等。另外,非负矩阵因子(Nonnegative Matrix Factorization, NMF)同样也是一种基于数据局部结构的数据挖掘方法,其等同于一个具有非负边界限制的优化问题。在已有的研究成果中,非负矩阵因子主要是通过添加额外的优化项来解决机器学习和计算机视觉中的一些应用问题。为了克服传统的相乘学习算法收敛速度过慢的问题,最近有一些研究者提出了基于投影梯度的非负矩阵因子算法。但是,碍于非负限制和额外添加的优化项,这些非负矩阵因子方法常常会遇到不恰当学习的问题。本文主要针对基于数据局部结构的特征提取方法的几个热点问题进行了深入地研究,主要的贡献如下:①针对维度灾难的问题,已有的局部判别方法使用主成分分析(Principal Component Analysis, PCA)方法来对数据进行预处理降维,但这有可能会破坏数据的局部结构。本文将判别嵌入考虑为一个在样本数据空间中的核处理过程,提出一种基于核框架的判别处理方法来提取嵌入特征。与其它方法相比,该方法避免了PCA的预处理,也不需要对数据进行裁剪操作。通过在一系列高维数据集上的实验表明,该方法具有较好的健壮性和杰出的性能优势。②尽管局部判别子空间方法在判别形式上与LDA具有一致性,但它们的理论性质却截然不同。本文以局部判别零空间为例,研究了局部判别子空间方法相关的计算和理论基础。首先,本文在零空间LDA的基础上提出局部判别零空间方法,并且论证它的计算复杂度主要是由关系图中连接边的数量决定的。这使得当需要处理的数据量较大时,算法无法顺利实施。为了解决这个问题,本文提出一种改进的局部零空间方法,该方法用惩罚子空间来近似完整的局部判别子空间以达到改进算法效率的目的。实验研究发现,该近似方法能够达到与原来的学习方法相近似的识别结果。③由于当有新增数据时,局部判别分析方法没有明确可用的更新规则,这使得为其设计增量学习方法非常困难。为了弥补这一缺陷,本文提出一种提取判别特征的监督学习方法,叫做局部判别子空间嵌入(local discriminant subspace embedding, LDSE)。然后,提出了其增量学习方法来寻求在存在新数据进入的情况下的判别子空间,该方法的主要思想是利用奇异值分解的更新算法来将基准方法扩展为可进行增量学习的方法。从人脸识别的实验来看,该增量学习方法能够在更小的计算开销下得到与基准嵌入方法相近的识别结果。④已有的边缘学习方法在判别边缘拥有最短的类间距离的理论前提下,试图在所有类间数据对中找到局部边缘。然而,该方法常常难以提供最佳的判别力,特别是在数据呈多模态分布的情况中。究其原因,是由于边缘学习方法使用有限的数据对来确定判别边缘,使得得到的边缘可能无法反映数据的真实的分布情况,使得在低维空间中投影得到的样本无法被正确分类。不失一般性,线性子空间学习算法也可以理解为在低维空间中对一系列数据对吸引和排斥关系的加强。基于这样的观点,提出一种边缘子空间学习方法,叫做边缘判别投影(marginal discriminant projections, MDP)。与已有的边缘学习方法不同,通过分层模糊聚类来自适应地确定局部判别边缘,同时递归目标优化过程也得以避免。⑤为了挖掘非负数据中的信息成分,提出了一种以信息理论学习相关的非负矩阵学习方法,并使用共轨梯度方法来加强递归学习过程。然而,与其它扩展的梯度非负矩阵因子算法一样,碍于非负边界限制,在递归过程中不可避免地会遇到不恰当学习的问题。为了解决这个问题,提出了一个改进的线性搜索方法,在保持目标函数下降的同时通过确认条件来避免得到零因子。另外,不同于其它梯度下降算法使用梯度终止条件,采用了对非负边界优化问题效率更高的数值终止条件。实验表明,该方法在非负图像数据集存在姿态和光照变化的条件下,比其它方法更有的优势。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景及意义
• 1.2 流形学习的相关概念
• 1.3 广义关系图嵌入框架
• 1.4 局部结构特征提取方法中存在的主要问题及难点
• 1.5 本文的主要工作
• 1.6 本文组织结构安排
• 2 高维空间中基于核框架的局部判别方法
• 2.1 引言
• 2.2 基于核方法的特征提取
• 2.3 局部判别方法中的小样本问题
• 2.4 基于核框架的局部判别方法
• 2.4.1 基于核框架的判别方法
• 2.4.2 计算复杂度分析
• 2.5 实验与分析
• 2.5.1 基因数据集上的实验结果
• 2.5.2 ALOI 对象数据集上的实验结果
• 2.5.3 AR 人脸数据集上的实验结果
• 2.6 本章小结
• 3 局部判别分析方法的相关性质及其在零空间方法中的应用
• 3.1 引言
• 3.2 相关背景简介
• 3.3 局部零空间判别分析
• 3.3.1 局部多类判别准则
• 3.3.2 局部零空间学习方法
• 3.3.3 改进的局部零空间学习方法
• 3.4 理论分析与讨论
• 3.4.1 局部判别子空间
• 3.4.2 计算复杂度分析
• 3.5 实验与分析
• 3.5.1 ALOI 对象数据集上的实验结果
• 3.5.2 Yale 人脸数据库上的实验结果
• 3.5.3 AR 人脸数据库上的实验结果
• 3.6 本章小结
• 4 基于局部判别嵌入的增量学习方法
• 4.1 引言
• 4.2 相关工作简介
• 4.3 局部判别子空间嵌入
• 4.3.1 关系图的建立
• 4.3.2 判别嵌入
• 4.4 增量局部判别子空间嵌入
• 4.4.1 关系图的更新
• 4.4.2 增量判别嵌入
• 4.5 理论分析和讨论
• 4.5.1 算法分析
• 4.5.2 计算复杂度分析
• 4.6 实验结果和分析
• 4.6.1 人脸数据库
• 4.6.2 LDSE 的实验结果
• 4.6.3 增量 LDSE 的实验结果
• 4.7 本章小结
• 5 可自适应的边缘判别分析方法
• 5.1 引言
• 5.2 相关工作简介
• 5.3 基于全局类间边缘的改进方法
• 5.4 基于吸引排斥数据对的线性子空间学习
• 5.5 自适应的局部边缘判别分析方法
• 5.5.1 局部判别边缘的确定
• 5.5.2 基于局部边缘子空间的判别分析
• 5.6 实验与分析
• 5.6.1 GCM 基因数据库上的实验结果
• 5.6.2 COIL-20 对象数据集上的实验结果
• 5.6.3 AR 人脸数据集上的实验结果
• 5.6.4 CMU PIE 人脸数据集上的实验结果
• 5.7 本章小结
• 6 基于非负矩阵因子的信息理论学习
• 6.1 引言
• 6.2 相关工作简介
• 6.3 信息理论学习
• 6.3.1 互信息
• 6.3.2 基于 Parzen 窗的 Renyi 熵
• 6.4 NMF 中的信息理论学习
• 6.4.1 提取 NMF 中的信息成分
• 6.4.2 针对子问题的共轨梯度方法
• 6.4.3 改进的线性搜索方法
• 6.4.4 终止条件
• 6.5 实验与分析
• 6.5.1 参数初始化
• 6.5.2 ALOI 数据集上的实验结果
• 6.5.3 ORL 数据集上的实验结果
• 6.5.4 Yale B 数据集上的实验结果
• 6.6 本章小结
• 7 总结与展望
• 7.1 本文主要工作及创新点
• 7.2 后续研究工作展望
• 致谢
• 参考文献
• 附录