图像高斯混合模型的判别学习方法

论文摘要

高斯混合模型（Gaussian Mixture Model）是统计模式识别中一类重要建模工具。基于高斯混合模型的图像识别方法,具有形式灵活、识别速度快、抗干扰能力强、识别准确率高等优点,成为图像识别领域中一种重要的建模方法,在文档分析与识别、图像与视频检索、生物特征识别与认证、目标检测与跟踪、医学图像分析与识别、智能交通、智能监控等领域得到广泛应用。高斯混合模型学习方法按照学习目标不同可分为生成学习和判别学习。大量的研究表明,判别学习使模式识别系统的识别性能显著提高,学习效果明显好于传统的生成式学习。很多研究机构都开展了图像统计建模的判别学习研究工作,并提出了许多学习方法。本文面向图像识别问题,研究图像的高斯混合模型判别学习方法,用于从训练样本中获得判别能力强的高斯混合模型,实现有效分类。本文研究内容包括基于贝叶斯分类器的判别学习准则、基于判别学习的模型选择方法和判别学习智能优化算法。本文提出了最大最小后验伪概率软目标学习方法（Soft target based MMP Learning with Data Selection , SoftDS-MMP ）,用于学习基于后验伪概率（ Posterior Pesudo-probability）的贝叶斯分类器。SoftDS-MMP对每个模式类的正样本和反样本的后验伪概率分别定义相应的软目标,用该软目标度量分类器在训练集上的分类损失。SoftDS-MMP通过最小化分类损失,同时最大化两个软目标之间的距离,获得分类器的最优参数集合。本文还进一步利用软目标进行数据选择,从训练集中移出和插入训练样本,压缩训练数据集,提高训练速度。在数据选择过程中,对于那些后验伪概率远超过其相应软目标值的训练样本,在一定的训练周期内暂时将其移出训练集。与基于硬目标的学习方法相比,SoftDS-MMP降低了过学习风险,提高了训练速度。本文在SoftDS-MMP判别学习框架下,提出了一种高斯混合模型成份个数选择方法。该方法将Soft-MMP目标函数结合到贝叶斯模型选择框架中,用拉普拉斯方法估计SoftDS-MMP目标函数的边缘积分,并将最大化拉普拉斯估计值做为高斯混合模型判别选择准则。利用线性搜索策略,同时获得最优高斯混合模型结构和模型参数。该方法主要优点是将判别信息引入到模型选择当中,以判别方式同时学习高斯混合模型的结构和参数,提高了分类器的判别性能。为了提高判别学习算法的训练速度和优化效果,本文提出了一种基于判别学习目标函数梯度的进化策略优化算法。该方法利用目标函数的梯度信息调整Cholesky协方差矩阵自适应进化策略中的参数（Covariance Matrix Adaptation Evolution Strategy based on Cholesky Factorization, Cholesky-CMA-ES）,包括加权均值、协方差矩阵和全局步长,提高优化效果和优化效率。该方法主要思想是对每代进化中个体的加权均值用梯度下降算法进行调整,并根据调整后的均值更新协方差矩阵和全局步长。该方法在训练过程中动态调整梯度信息和Cholesky-CMA-ES在联合优化方法中所占的比重。在训练初期,Cholesky-CMA-ES在该联合优化方法中占主导地位,快速确定最优搜索区域;然后,逐渐增加基于梯度优化算法在联合优化方法中所占的比重,以加强联合优化方法的局部探索能力。该联合优化方法实现了Cholesky-CMA-ES与梯度下降算法的互补。一方面,利用其多点随机优化策略可以降低陷入局部最优解的概率;另一方面,利用目标函数的梯度信息可以加快收敛速度。本文将所提出的判别学习准则、模型选择方法和联合优化算法应用于手写体数字识别问题中。在对高斯混合模型进行判别选择和学习的SoftDS-MMP方法框架下,利用联合优化算法来优化手写体数字分类器的结构和参数。学习得到的分类器在常用的CENPAMI和MNIST手写体数字样本库上进行了验证。在CENPAMI手写体数字样本库上取得了的识别率,在MNIST手写体数字样本库上取得了的识别率。实验结果以及与目前最好识别效果的比较证明了我们所提出方法的有效性。

论文目录

• 摘要
• ABSTRACT
• 目录
• 表格目录
• 插图目录
• 算法目录
• 第1章 绪论
• 1.1 引言
• 1.2 图像分类中的有限混合建模方法研究现状
• 1.2.1 有限混合模型
• 1.2.2 模型选择
• 1.3 判别学习方法研究现状
• 1.3.1 支持向量机
• 1.3.2 最小分类错误方法
• 1.3.3 最大互信息方法
• 1.3.4 基于边缘最大化的概率密度估计
• 1.3.5 最大最小后验伪概率方法
• 1.4 主要问题与难点
• 1.5 研究内容
• 1.6 论文结构
• 第2章 应用背景
• 2.1 引言
• 2.2 特征提取
• 2.3 正交高斯混合建模
• 2.4 基于后验伪概率的贝叶斯分类器
• 2.5 实验数据库
• 2.6 小结
• 第3章 基于软目标的后验伪概率判别学习方法
• 3.1 引言
• 3.2 最大最小后验伪概率判别学习方法
• 3.3 基于软目标的最大最小后验伪概率学习方法
• 3.3.1 后验伪概率软目标
• 3.3.2 经验损失与目标函数
• 3.3.3 优化方法
• 3.4 基于软目标的训练数据选择方法
• 3.5 SoftDS-MMP 算法流程
• 3.6 SoftDS-MMP 在手写体数字识别中的应用
• 3.7 小结
• 第4章 高斯混合模型的判别选择方法
• 4.1 引言
• 4.2 主流GMM 选择方法
• 4.2.1 生成式方法
• 4.2.2 判别式方法
• 4.3 贝叶斯模型选择方法
• 4.3.1 贝叶斯模型选择准则
• 4.3.2 贝叶斯准则计算方法
• 4.4 基于SoftDS-MMP 的贝叶斯模型选择方法
• 4.4.1 SoftDS-MMP 目标函数的转换
• 4.4.2 GMM 模型判别评价准则
• 4.4.3 线性搜索策略
• 4.5 实验结果
• 4.5.1 模型选择方法比较
• 4.5.2 数字分类器比较
• 4.6 小结
• 第5章 结合目标函数梯度的进化策略优化算法
• 5.1 引言
• 5.2 相关工作
• 5.3 Cholesky-CMA-ES
• 5.3.1 协方差矩阵自适应进化策略
• 5.3.2 基于Cholesky 分解的协方差矩阵更新
• 5.3.3 全局步长自适应更新
• 5.3.4 Cholesky-CMA-ES 算法
• 5.4 Cholesky-CMA-ES 与梯度优化的结合
• 5.4.1 加权均值更新
• 5.4.2 协方差矩阵更新
• 5.4.3 全局步长控制
• 5.5 Cholesky-CMA-ES 与梯度优化的均衡控制
• 5.6 联合优化算法在SoftDS-MMP 中的应用
• 5.7 实验结果
• 5.7.1 优化方法效果比较
• 5.7.2 优化方法效率比较
• 5.7.3 数字分类识别结果比较
• 5.8 小结
• 第6章 总结与展望
• 6.1 本文研究工作总结
• 6.2 进一步研究工作展望
• 参考文献
• 附录 A
• 附录 B
• 攻读学位期间发表论文与研究成果清单
• 攻读博士学位期间参加的科研项目
• 致谢
• 作者简介