非参数边际距离最大化准则及其应用

论文摘要

维数灾难问题是许多模式识别方法在实际应用中面临的主要问题，比如文本处理，图像识别。在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。因此，降低维数有时就成为处理实际问题的关键。特征提取的任务就是求出一组有效的特征，把数据从高维空间变换为低维空间。 线性鉴别分析是最有效的线性特征提取和维数减少方法之一。线性鉴别分析方法的目标是通过最大化类间散度矩阵S_b，同时最小化类内散度矩阵S_w来提取特征。在许多应用中，线性鉴别分析被证明是十分有效的。但是线性鉴别分析依然存在缺陷：一是当样本维数很高时，类内散度矩阵为奇异的问题；二是它假设各类都属于Gaussian分布，并且各类的协方差矩阵相同，但一般情况下数据不满足这样的假设。 本文中，我们提出一种新的非参数边际距离最大化准则的特征提取方法，非参数边际距离最大化准则是一种从最近邻分类器的角度提出的线性特征提取方法。它不存在类内散度矩阵的奇异问题，也不需要假设每个类服从特定的分布。然后我们提出一种维数递减的优化算法。 我们成功地将非参数边际距离最大化准则应用于人脸识别，效果要好于目前流行的特征提取方法。 最后，我们进一步扩展非参数边际距离最大化准则，从信息论的角度提出信息边际距离的概念。我们同样不假设样本属于某个特定的分布，用非参数密度估计方法得到每个样本在不同类别里的概率密度，我们的目标是最大化类与类之间的相对熵，并且同时最小化每类样本的熵。实验证明，信息边际距离最大化准则要比互信息最大化准则和其它线性特征提取准则更有效。

论文目录

• 中文摘要
• 英文摘要
• 第一章 前言
• 1.1 特征选择和提取的定义
• 1.2 特征提取方法简介
• 1.3 特征提取准则的类型
• 1.3.1 非监督特征提取方法
• 1.3.2 监督特征提取方法
• 1.4 本文的主要贡献
• 1.5 本文组织
• 第二章 线性特征提取综述
• 2.1 线性鉴别分析方法
• 2.2 Fisher准则在实际应用的缺陷
• 2.3 基于Fisher准则的改进
• 2.3.1 对模型假设的改进
• w奇异问题的改进'>2.3.2 针对S_w奇异问题的改进
• b的改进方法'>2.3.3 针对S_b的改进方法
• 2.3.4 其它改进方法
• 第三章 非参数边际距离最大化准则
• 3.1 引言
• 3.2 非参数的类间和类内散度矩阵定义
• 3.3 用最近邻分类来衡量特征提取
• 3.4 非参数边际距离最大化准则
• 3.5 图例
• 3.5.1 两维数据集
• 3.5.2 三维数据集
• 3.6 维数递减算法
• 3.7 非参数边际距离最大化准则的扩展
• 3.7.1 从k近邻分类的角度来扩展准则
• 3.7.2 实验分析
• 3.8 分析与讨论
• 第四章 在人脸识别中的应用
• 4.1 引言
• 4.1.1 人脸识别的优势
• 4.1.2 人脸识别的难点
• 4.1.3 人脸识别方法
• 4.2 实验描述
• 4.3 ATT数据集评测
• 4.4 FERET数据集（1）评测
• 4.5 FERET数据集（2）评测
• 4.6 实验结果分析
• 第五章 非参数信息边际距离最大化准则
• 5.1 引言
• 5.2 信息论基础
• 5.2.1 Shannon熵
• 5.2.2 Kullback-Leibler相对熵
• 5.2.3 互信息
• 5.2.4 平方熵和二次相对熵
• 5.2.5 Parzen窗非参数概率密度估计方法
• 5.3 互信息最大化准则
• 5.4 非参数信息边际距离最大化准则
• 5.4.1 非参数信息边际距离的定义
• 5.4.2 非参数信息边际距离最大化准则及算法
• 5.4.3 图例
• 5.5 实验与分析
• 第六章 总结和展望
• 参考文献
• 攻读博士期间的主要工作
• 致谢