贝叶斯分类方法的对比研究与改进算法

论文摘要

人类智慧的一个重要方面是其认识外界事物的能力。人们为了掌握客观事物,把事物按相似的程度组成类别,模式识别的目的就是利用计算机将某一具体的事物正确的归类。分类是机器学习,模式识别和人工智能等相关领域广泛研究的问题。近年来,随着新技术的不断涌现,分类方法也得到了新的发展。针对不同的分类问题,分类方法多种多样。在众多的分类方法中,贝叶斯分类器受到了极大地重视。在贝叶斯分类模型中,模型分别模拟各个类别的类条件概率分布,然后依据贝叶斯定理计算后验概率。但是贝叶斯分类器具有较强的限定,即要求属性之间是相互独立的,并且分类器在训练和学习过程中,不能有效的利用类间的信息,而类间信息对分类而言是重要的。因此,本文在认真分析Fisher线性判别理论的基础上,研究了一种基于Fisher线性判别分析的贝叶斯分类器。该算法关键是寻找最佳的线性变换矩阵,将原始数据通过线性变换投影到新的样本空间,获得新样本。新样本在新的空间里能更好的分开,然后应用经典的贝叶斯分类方法对新样本进行学习分类。实验表明将经典贝叶斯分类器与Fisher线性判别分析方法有机结合起来,能获得更好的分类效果。另外,本文还对模式分类中的特征提取和选择进行了深入的研究。目前科技水平飞速发展,信息获取技术不断提高,不仅获得的数据量是相当大的,而且数据的维数也越来越高。特征选择和提取能够筛选出最本质、最相关、最有效的特征,降低数据的维数,去掉冗余和无关的特征。主成分分析和K-L变换都是特征提取的基本方法,通过对原始数据集进行标准正交变换而实现数据的降维。通过实验仿真结果表明,特征提取和选择有利于改善分类器的分类效果,提高分类器的分类精度。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 模式识别研究现状
• 1.3 论文内容及结构安排
• 1.3.1 课题的主要内容
• 1.3.2 论文的结构安排
• 第二章 统计模式识别
• 2.1 模式识别系统介绍
• 2.1.1 模式识别系统的典型构成
• 2.1.2 模式识别的主要方法
• 2.2 贝叶斯决策理论
• 2.2.1 最小错误率的贝叶斯决策
• 2.2.2 最小风险的贝叶斯决策
• 2.3 判别函数和决策面
• 2.4 正态分布时的统计决策
• 2.4.1 正态分布及其性质
• 2.4.2 正态分布的贝叶斯决策
• 2.5 贝叶斯分类模型与实验结果
• 2.5.1 朴素贝叶斯分类模型
• 2.5.2 实验仿真
• 2.6 本章小结
• 第三章 线性判别方法与特征提取
• 3.1 线性判别函数的基本概念
• 3.2 线性判别方法
• 3.2.1 欧几里得线性判别
• 3.2.2 马氏距离线性判别
• 3.2.3 Fisher线性判别分析
• 3.3 特征选择与提取
• 3.3.1 特征选择与提取的基本理论
• 3.3.2 特征评价准则与类别可分性判据
• 3.4 特征提取方法
• 3.4.1 成分分析法（PCA）
• 3.4.2 基于K-L变换的特征提取法
• 3.5 实验分析
• 3.6 本章小结
• 第四章 分类器设计与基于Fisher的贝叶斯改进算法
• 4.1 分类器设计的介绍
• 4.2 分类器设计的方法
• 4.2.1 基于参考点的分类器
• 4.2.2 基于概率统计的分类器
• 4.2.3 基于线性判别函数的分类器
• 4.3 基于Fisher判别分析的贝叶斯分类器
• 4.4 实验仿真
• 4.5 本章小结
• 总结与展望
• 论文总结
• 展望
• 参考文献
• 攻读硕士学位期间取得的科研成果
• 致谢