面向模式表示与模式源的分类器设计方法研究

面向模式表示与模式源的分类器设计方法研究

论文摘要

模式识别是研究利用计算机来模仿或实现人类的识别能力,以实现对研究对象的自动识别,其相关技术已被广泛应用于人工智能、机器学习、神经生物学、医学等众多领域。在模式识别学习中,分类器作为模式识别研究的基本工具,模式作为其研究对象,因此分类器设计与模式已成为模式识别的研究重点。本文从模式识别研究对象――模式出发,力图设计出能尽可能考虑模式先验知识的分类器,即面向模式表示及模式源的分类算法。本文的主要贡献在于:(1)提出一种面向模式表示的分类器设计方法。该方法能直接操作非向量模式(矩阵),从而形成不同于向量型分类器的传统设计理念。新的分类模型可直接操作矩阵(包括那些原为向量模式而通过矩阵化重构的矩阵模式)使传统向量型分类模型作为其特例。本文从现有性能优越的向量型线性分类器入手,通过选出合适的模型进行合理地非向量化(矩阵化)改造。力图在保持分类器线性性的同时,设计出性能更优的面向非向量(矩阵)模式的新型分类器,并探究其性能提升的本质所在。这种新的设计理念有助于:i)在仍保持分类器线性、简单和数学易处理的同时,探究非向量化(矩阵化)的模式表示对分类器推广性能的影响;ii)分类器存储空间的大规模约简。最终为分类器设计提供一个新的途径。(2)设计了两种矩阵型分类器算法:i)矩阵型最小平方支持向量机(MatLSSVM);ii)矩阵型正则化Ho-Kashyap分类器算法(MatMHKS)。实验验证了所设计的矩阵型分类器算法在所用的数据集尤其是图像上,相比向量型分类器具有显著的推广性及存储复杂度上的优势。(3)针对矩阵型分类器存在的矩阵化依赖问题,提出了基于AdaBoost的矩阵型分类器设计方法以达成去依赖的目的,并以MatLSSVM为例设计了改进型的AdaMatLSSVM算法。(4)提出了一种全矩阵化的分类学习方法,即将矩阵型特征提取与矩阵型分类器设计相结合的学习方法(MatFE+MatCD)。为验证该方法的有效性,本文给出了特征提取与分类器设计两个阶段中模式分别以向量和矩阵表示的所有可能组合,包括:矩阵型特征提取+向量型分类(MatFE+VecCD),向量型特征提取+向量型分类(VecFE+VecCD),矩阵型分类(MatCD),向量型分类(VecCD)以及向量型特征提取+矩阵型分类(VecFE+MatCD)。实验验证了:i)在原本包含结构或空间信息的图像模式上,全矩阵化方法即MatFE+MatCD能有效提高分类性能;ii)模式的矩阵表示为特征提取与分类器设计两个阶段的学习提供了又一简单有效的表示形式。(5)发展了一个更为广泛的结合模式源的多视角学习框架,主要体现在:i)设计了一系列将单源模式多视角化的方法。现有多视角学习要求多源模式各视角间满足条件独立性,但现实中这一条件往往难以满足,导致已有多视角方法较难有效工作。提出的将单源模式多视角化方法则能有效解决这一问题;ii)不同于现有多视角学习在每个视角上的各自训练,本文提出了同时在生成的多视角模式上进行联合优化训练的方式;iii)所给出的多视角学习框架并不限于某一具体算法;iv)类似于模式可分为单视角(单源)和多视角(多源),本文通过将单一体系结构的分类器与具有多个体系结构的分类器分别视为单视角分类器和多视角分类器,从而将现有的分类学习模型分为单源模式+单视角分类器、多源模式+单视角分类器、单源模式+多视角分类器与多源模式+多视角分类器的四种形式。考虑到现有分类研究主要集中于前两种模型,因此本文以单源模式+多视角分类器模型为例进行了重点研究,并针对单源模式设计出五种不同的多视角分类学习算法,即a)MultiK-MHKS;b)MultiV-KMHKS;c)MVNA-KMHKS;d)MultiV-MHKS;e)MVDR。并实验验证了它们的有效性。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  • 1.1 研究意义
  • 1.2 模式与分类器
  • 1.2.1 面向模式表示的分类器设计
  • 1.2.2 面向模式源的分类器设计
  • 1.3 本文内容安排
  • 第一部分 面向矩阵模式表示的分类器学习
  • 第二章 矩阵型分类器设计方法
  • 2.1 引言
  • 2.2 面向矩阵模式的最小平方支持向量机
  • 2.2.1 向量型最小平方支持向量机
  • 2.2.2 矩阵型最小平方支持向量机
  • 2.2.3 矩阵型模糊化的最小平方支持向量机
  • 2.2.4 模拟实验
  • 2.3 面向矩阵模式的正则化Ho-Kashyap 分类算法
  • 2.3.1 向量型正则化Ho-Kashyap 分类算法
  • 2.3.2 矩阵型正则化Ho-Kashyap 分类算法
  • 2.3.3 模拟实验
  • 2.4 矩阵及向量型分类器模型的关系
  • 2.4.1 存储复杂度分析
  • 2.4.2 解空间分析
  • 2.4.3 模型VC 维分析
  • 2.5 本章小结
  • 第三章 基于AdaBoost 的矩阵型分类器设计方法
  • 3.1 引言
  • 3.2 AdaBoost 算法
  • 3.3 基于AdaBoost 的矩阵型最小平方支持向量机
  • 3.4 实验与分析
  • 3.4.1 数据集描述
  • 3.4.2 参数设置
  • 3.4.3 结果讨论
  • 3.5 本章小结
  • 第四章 整体矩阵化方法
  • 4.1 引言
  • 4.2 整体矩阵化
  • 4.2.1 相关工作
  • 4.2.2 MatFE+MatCD
  • 4.3 模拟实验
  • 4.3.1 实验设置
  • 4.3.2 在原始图像上采用矩阵与向量模式表示的性能比较
  • 4.3.3 在原始向量数据集上采用矩阵与向量模式表示的性能比较
  • 4.3.4 进一步讨论
  • 4.4 本章小结
  • 第二部分 面向模式源的分类器学习
  • 第五章 基于核的多视角型分类器设计方法
  • 5.1 引言
  • 5.2 MultiK-MHKS
  • 5.2.1 相关工作
  • 5.2.2 NmCCA 同正则化方法的融合
  • 5.2.3 模拟实验
  • 5.3 MultiV-KMHKS
  • 5.3.1 相关工作
  • 5.3.2 多视角的核学习机
  • 5.3.3 模拟实验
  • 5.4 MVNA-KMHKS
  • 5.4.1 算法动机
  • 5.4.2 相关工作
  • 5.4.3 引入Nystr?m 核矩阵近似的多视角学习机
  • 5.4.4 模拟实验
  • 5.5 本章小结
  • 第六章 多视角型分类器设计方法的进一步探讨
  • 6.1 引言
  • 6.2 MultiV-MHKS
  • 6.2.1 算法动机
  • 6.2.2 相关工作
  • 6.2.3 算法设计
  • 6.2.4 模拟实验
  • 6.3 多视角正则化方法(MVDR)
  • 6.3.1 算法动机
  • 6.3.2 判别型正则化方法(DR)[150]
  • 6.3.3 算法设计
  • 6.3.4 模拟实验
  • 6.4 本章小结
  • 第七章 结束语
  • 参考文献
  • 致谢
  • 在学期间的研究成果及发表的学术论文
  • 相关论文文献

    标签:;  ;  ;  ;  ;  ;  ;  ;  

    面向模式表示与模式源的分类器设计方法研究
    下载Doc文档

    猜你喜欢