基于信息几何的FSVM理论及算法研究

论文摘要

支持向量机（SVM）是在统计学习理论上发展起来的一种机器学习方法。由于较好的解决了小样本、非线性、高维数、局部极小值等问题以及具有良好的推广能力,SVM已经成为机器学习领域的一个研究热点。但传统的支持向量机对样本中的噪声和孤立点非常敏感,为了克服这个问题,提出了模糊支持向量机（FSVM）理论。在模糊支持向量机中如何构造合适的隶属度函数成为FSVM首要解决的问题。另外,如何从几何角度改进FSVM也已成为当今研究FSVM的又一个热点。本文详细论述了支持向量机理论、算法和性质,并通过构造合适的隶属度函数、核函数以及改进FSVM的几何结构,实现了对FSVM理论和算法的改进和完善。在对该课题进行深入研究后,主要做了如下创新性的工作:（1）用从信息几何角度构造的动态核函数表示样本点和类中心的距离以及样本间的密切度,即把核方法的思想引入到距离和密切度的表示中;（2）将基于类中心和密切度的模糊分类和回归隶属度函数分别进行组合,提出了基于类中心和密切度的乘积组合分类和回归隶属度函数,它们不仅考虑了样本点和类中心的距离,还考虑了样本间的密切度;（3）从几何角度改进L-1范数FSVR的惩罚项,提出了L-2范数FSVR,仿真实验结果显示它比SVR和L-1范数FSVR具有更好的回归精度;（4）提出了基于信息几何的模糊支持向量分类机和模糊支持向量回归机算法,并把基于信息几何的模糊支持向量分类机算法应用于图像边缘检测。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 支持向量机理论研究背景
• 1.1.2 模糊支持向量机理论研究背景
• 1.1.3 信息几何理论研究背景
• 1.2 研究现状
• 1.2.1 FSVM 理论研究现状
• 1.2.2 信息几何理论研究现状
• 1.3 研究内容
• 1.4 主要创新点
• 1.5 论文组织结构
• 第二章 支持向量机理论介绍
• 2.1 机器学习的基本理论
• 2.1.1 机器学习问题的表示
• 2.1.2 经验风险最小化（ERM）原则
• 2.1.3 复杂性与推广能力
• 2.2 统计学习理论
• 2.2.1 学习过程一致性的条件
• 2.2.2 函数集的VC 维
• 2.2.3 推广能力的界
• 2.2.4 结构风险最小化（SRM）原则
• 2.3 最优化理论
• 2.3.1 KKT 条件
• 2.3.2 Wolfe 对偶
• 2.4 支持向量分类机（SVC）
• 2.4.1 SVC 算法
• 2.4.2 SVC 性质
• 2.5 支持向量回归机（SVR）
• 2.5.1 SVR 算法
• 2.5.2 SVR 性质
• 2.6 SVM 的特点及其体现的思想方法
• 2.6.1 SVM 的特点
• 2.6.2 SVM 体现的思想方法
• 2.7 本章小结
• 第三章 以信息几何构造动态核函数
• 3.1 核函数定义及其性质
• 3.1.1 核函数的定义和Mercer 定理
• 3.1.2 核函数的性质
• 3.1.3 几种常见的核函数
• 3.2 信息几何理论
• 3.2.1 微分流形和黎曼流形
• 3.2.2 黎曼度量
• 3.3 基于信息几何的动态核函数构造
• 3.4 本章小结
• 第四章 乘积组合隶属度函数构造
• 4.1 几种常见的隶属度函数
• 4.2 模糊支持向量分类机的隶属度函数
• 4.2.1 基于类中心的分类隶属度函数
• 4.2.2 基于密切度的分类隶属度函数
• 4.2.3 乘积组合分类隶属度函数
• 4.3 模糊支持向量回归机的隶属度函数
• 4.3.1 基于类中心的回归隶属度函数
• 4.3.2 基于密切度的回归隶属度函数
• 4.3.3 乘积组合回归隶属度函数
• 4.4 本章小结
• 第五章 基于信息几何的FSVM
• 5.1 模糊支持向量分类机（FSVC）
• 5.1.1 基于信息几何的FSVC 算法
• 5.1.2 基于信息几何的FSVC 实际数据仿真实验
• 5.1.3 基于信息几何的FSVC 算法图像边缘检测
• 5.2 模糊支持向量回归机（FSVR）
• 5.2.1 L-1 范数FSVR
• 5.2.2 L-2 范数FSVR
• 5.2.3 基于信息几何的FSVR 算法
• 5.2.4 基于信息几何的FSVR 仿真实验
• 5.3 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 攻读学位期间发表的论文