模式识别中核方法若干问题研究

论文摘要

核方法是新近发展起来的一种模式识别方法，它的理论基础来自于统计学习理论。统计学在解决模式识别问题中发挥了基础的作用，但是传统的统计学所取得的成果大多建立在渐近理论之上，即样本观测数量趋于无穷多的时候的统计性质。这个条件在现实中是比较苛刻的，也是难以满足的。虽然如此，传统上仍然以样本观测数目无穷多为前提来推演各种算法，这不能不说是一个缺陷，它也是造成神经网络等算法中的过学习问题的原因之一。 相比之下，统计学习理论的出发点就是研究有限样本观测情形下的模式识别问题，经过几十年的发展，它已经具备完备的理论基础和严格的理论体系。统计学习理论已经成为机器学习的一个重要的研究方向。 本文主要讨论模式分类与聚类中的核方法，以及其它相关的理论和应用的关键问题。初步取得的研究成果和创新有： 第一，经典的核函数作用在欧氏空间的向量上，作者从空间旋转的角度，提出了把核函数的作用域扩展到向量集合之上的方法，使之能够胜任需要表示和处理更复杂的数据对象的机器学习任务。与类似的工作相比，它不需要预先假定数据服从某个概率分布，也不需要利用数值方法计算复杂的积分。在人脸识别的实验中，本方法比类似的工作达到了更低的误识率。 第二，Eigenface和Fisherface是两种常用的人脸识别算法，它们本质上是线性的，且着重发掘和利用映像空间的全局结构。对于非线性结构，它们无能为力。本文讨论了局部空间结构对人脸识别的意义，我们认为局部空间结构可以用线性或近似线性的方法学习和表示，并且可以通过对局部结构的逐段线性化，来学习和表示全局的非线性结构。结合LLE算法，提出了利用逐段线性化学习和表示局部结构的核方法。在人脸识别的实验中，它比Eigenface和Fisherface表现出更好的识别能力。 第三，LPP算法是一种数据降维和数据可视化方法，它是基于谱图理论的。由于谱图理论与微分流形具有密切的关系，且对于流形来说，测地线距离比欧氏距离更能准确揭示数据间的相似性，将LPP算法推广到利用测地线距离进行数据降维，并把这一方法扩展到核函数特征空间。在多个降维后的人脸识别实验中，它比LPP算法取得了更好的性能。 第四，尽管有众多的核函数可供利用，但是如何为特定的机器学习任务选择合适的核函数，是核方法的理论研究中一个具有挑战性和开放性问题。从流形

论文目录

• 摘要
• Abstract
• 第一章 模式识别导论
• 1.1 模式识别的应用
• 1.2 模式识别系统
• 1.3 特征提取
• 1.3.1 主成分分析
• 1.3.2 多维尺度分析
• 1.3.3 独立成分分析
• 1.4 统计学习理论与核方法
• 1.4.1 不适定问题与正则化方法
• 1.4.2 统计学习理论的发展
• 1.4.3 统计学习理论概述
• 1.4.4 内积核与支持向量机
• 1.4.5 核方法理论进展
• 1.5 论文章节安排
• 第二章 分类与核方法
• 2.1 线性分类
• 2.1.1 Fisher线性判别分析
• 2.1.2 支持向量机
• 2.2 非线性分类
• 2.2.1 神经网络与核方法
• 2.2.2 非线性支持向量机及其进展
• 2.3 集合上的核函数
• 2.4 核函数与局部数据结构
• 第三章 聚类与核方法
• 3.1 相似性度量
• 3.2 聚类的准则函数
• 3.3 聚类方案与算法概述
• 3.4 聚类中的核方法概述
• 3.5 基于谱图的核
• 3.6 聚类中的潜概念及其在文本分类中的应用
• 第四章 如何选择核函数
• 第五章 核函数的保密多方计算
• 第六章 论文工作总结和展望
• 参考文献
• 发表论文
• 致谢