流形学习中的若干问题研究

论文摘要

在我们处理模式识别问题的时候,一个主要的信息来源就是数据。在不同的问题中,数据的分布结构是非常不同的。是否利用,以及如何利用这些信息,直接决定了算法的性能。传统方法对分布的结构往往做出较强的假设,因此在面对真实数据的时候常表现出局限性。为了更好地利用数据分布的结构,近年来人们开始关注基于流形的方法。流形学习认为高维空间中的数据实际上是分布在一个低维的流形结构上,并据此发展出一系列算法来提升学习效果。流形学习大致有两个出发点,一个着眼于局部结构,另一个则着眼于全局结构。本文就涉及了这两方面的内容。并且,为了使学习算法更加实用我们还提出了一些用于加速的算法。具体说来,本文主要做了以下三个工作。第一,在传统的流形切空间理论的基础上,提出了判别式加性切空间,用于刻画数据分布的局部流形结构。和传统方法相比,我们使用非参数回归方法来增强原有的线性方法,并通过判别式的训练来提高模型在分类任务中的性能。此外还提出了一种新的训练算法使得这种方法能够处理高维数据。第二,使用图来对流形的整体结构建模,提出了一种新的半监督方法用于学习两个不同的流形间的对应关系。该方法引入了一种新颖的监督形式来指导对对应关系的学习,用户只需要给出像“A比B要更像C”这样的信息就可以了。这种监督方式和传统方法相比更灵活并且更容易获得,而且效果也是令人满意的。第三,提出了一种多层算法用于加速信念传播算法在马尔科夫随机场上的运行。在这种方法中,我们不断缩小需要处理的随机场的规模,形成一个自底向上的金字塔结构。在最上层的场上,信念传播可以很快地完成收敛。然后,上层场的解被不断自顶向下传递,直到获得原问题的解。我们的方法不仅很容易被直观解释,并且具有良好的理论基础保证其精确度。我们将以上方法应用于视觉识别,流形对齐,以及其它基于图的流形学习问题。实验结果表明在大部分情况下它们都比非流形的或是传统的流形学习算法具有更好性能。本文最后将总结全文并展望今后的工作。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景与意义
• 1.2 流形学习基本概念
• 1.3 流形研究现状
• 1.3.1 非监督流形学习
• 1.3.1.1 主曲线
• 1.3.1.2 切空间方法
• 1.3.1.3 非线性降维
• 1.3.2 流形聚类
• 1.3.3 监督流形学习
• 1.3.4 半监督流形学习
• 1.4 主要工作与内容安排
• 1.4.1 内容安排
• 第2章 判别式加性切空间
• 2.1 介绍
• 2.2 判别式加性切空间
• 2.2.1 切空间方法介绍
• 2.2.2 判别式方法与加性模型
• 2.3 直接稀疏广义加性模型
• 2.3.1 广义加性模型介绍
• 2.3.2 基函数
• 2.3.3 直接稀疏解法
• 2.3.4 相关工作与讨论
• 2.4 实验
• 2.4.1 线性模型及其解释
• 2.4.2 一般识别任务
• 2.5 讨论
• 2.5.1 松弛的判别式加性切空间
• 2.5.2 和概率切子空间的比较
• 2.6 小结
• 第3章 半正定流形对齐
• 3.1 介绍
• 3.2 背景与相关工作
• 3.3 正半定流形对齐
• 3.3.1 二次规划形式
• 3.3.1.1 无先验知识的共同嵌入
• 3.3.1.2 引入先验知识的流形对齐
• 3.3.2 正半定对齐方法
• 3.4 对应点的获取
• 3.5 实验
• 3.5.1 数据与实验设定
• 3.5.2 结果
• 3.6 讨论
• 3.7 小结
• 第4章 多网格信念传播
• 4.1 介绍
• 4.2 背景介绍
• 4.2.1 概率图模型
• 4.2.2 推理问题与信念传播
• 4.3 多网格信念传播
• 4.3.1 选择粗节点
• 4.3.2 层间信念插值
• 4.3.3 构造粗边
• 4.3.4 初始解及其细化
• 4.4 正确性证明
• 4.4.1 高斯马尔科夫随机场
• 4.4.2 能量保持粗化
• 4.4.3 与代数多网格的联系
• 4.5 讨论与相关工作
• 4.6 实验
• 4.6.1 半监督分类
• 4.6.1.1 手写体数字识别
• 4.6.1.2 文本分类
• 4.6.2 半自动图像分割
• 4.6.3 图像恢复
• 4.7 小结
• 第5章 总结
• 5.1 主要贡献
• 5.2 研究展望
• 参考文献
• 致谢
• 附录 A 广义加性模型的梯度推导
• 个人简历、在学期间发表的学术论文与研究成果