论文题目: 支持向量机理论、算法与实现
论文类型: 硕士论文
论文专业: 摄影测量与遥感
作者: 辛宪会
导师: 邱振戈,龚志辉
关键词: 统计学习理论,核函数维,支持向量机,纹理图像
文献来源: 中国人民解放军信息工程大学
发表年度: 2005
论文摘要: 二十世纪90年代中期,Vladimir N. Vapnik教授在统计学习理论的基础上提出的支持向量机学习算法,在解决基于小样本的机器学习问题时表现出了卓越的性能,已成为机器学习领域新的研究热点。但是,支持向量机的训练费用、泛化性能以及核函数的选择等关键问题,长期以来都没有得到彻底的解决,这使得支持向量机的理论优越性没能够在更广泛的实际应用中凸现出来。 为深入研究支持向量机,并进一步拓宽其应用领域,针对支持向量机的训练性能、泛化性能及核函数的选择等问题,本文主要进行了以下研究: 1) 系统分析了支持向量机的理论基础,研究分析了经验风险最小化的局限性和结构风险最小化的优越性,详细总结了支持向量机的研究及应用现状,分析了支持向量机的优越性及待改进的方面。 2) 研究了凸二次规划的实现方法,总结了传统的解决凸二次规划问题的方法在解决大规模或超大规模训练问题时计算时间、内存占用和计算精度等方面的不足;本文采用的方法在解决大规模训练问题(如11000个训练样本)时表现出的性能令人满意。 3) 对各种变形支持向量机算法进行了对比分析,研究了对支持向量机算法改进的一般方法,即必须在结构风险最小化的原则指导下对支持向量机算法进行改进。 4) 研究分析了影响支持向量机训练性能、学习性能的几个重要因素,并总结得出支持向量机训练时间随训练样本数目ι的增大近似线性增长;随着训练样本数目ι的增长,置信范围减小,分类正确率不断提高;当分类正确率达到最大时惩罚因子C只是分布在一个较小的范围内。 5) 在研究Brodatz和KTH TIPS纹理图像分类问题时,本文采用了纹理图像的位图表达方式,这一表达方式省去了纹理特征提取的费用,但增加了样本的维数;该表达方式将纹理图像分类问题转化为一个小样本的机器学习问题,从而可以采用SVM方法来解决图像分类问题。由于支持向量机学习算法是与样本维数无关的,因此实验中(在可以接受的训练花费下)依然获得了较高的分类正确率。
论文目录:
摘要
ABSTRACT
第一章 绪论
§1．1 引言
§1．2 研究背景和意义
1．2．1 支持向量机的发展历程
1．2．2 选题的意义
§1．3 支持向量机的研究及应用现状
§1．4 本文的主要研究内容与论文组织
1．4．1 研究内容
1．4．2 论文的章节组织
第二章 支持向量机的理论基础
§2．1 机器学习的基本问题
2．1．1 机器学习问题的数学模型
2．1．2 经验风险最小化
2．1．3 学习机器的复杂性与泛化性
§2．2 统计学习理论的核心内容
2．2．1 统计学习过程一致性的条件
2．2．2 VC维
2．2．3 结构风险最小化
§2．3 支持向量机
2．3．1 线性分类器
2．3．2 最优分类超平面
2．3．3 支持向量机
2．3．4 核函数
2．3．5 SVM的泛化性能
§2．4 本章小结
第三章 支持向量机的算法模型
§3．1 SVM中的QP问题
3．1．1 最优化问题概述
3．1．2 SVM中的QP问题的求解
3．1．3 改进的SMO算法
§3．2 各种变形SVM算法模型
3．2．1 v-SVM算法
3．2．2 LS-SVM算法
3．2．3 WSVM(weighted SVM)算法
3．2．4 变形SVM算法的综合分析
§3．3 用于多类问题的SVM算法模型
3．3．1 多类分类问题概述
3．3．2 1-v-1 SVM多类分类算法
3．3．3 1-v-R SVM多类分类算法
§3．4 两种实用的多类分类SVM算法
3．4．1 BT-SVM算法
3．4．2 DAG-SVM算法
§3．5 本章小结
第四章 基于支持向量机的分类实验
§4．1 纹理图像分析方法概述
4．1．1 纹理的概念
4．1．2 纹理图像分析的内容
4．1．3 纹理图像分析方法与工具
4．1．4 纹理图像分析中引入SVM方法的依据
§4．2 基于SVM的模拟数据分类实验
4．2．1 模拟实验数据
4．2．2 模拟数据的分类结果及其分析
§4．3 基于SVM的手写体数字识别实验
4．3．1 手写体数字识别概述
4．3．2 USPS手写体数字识别实验
§4．4 基于SVM的纹理图像分析实验
4．4．1 Brodatz和KTH TIPS纹理图像简介
4．4．2 问题的描述
4．4．3 SVM学习性能测试
4．4．4 实验结果分析
§4．5 本章小结
第五章 总结与展望
§5．1 本文工作总结
§5．2 进一步的工作展望
参考文献
致谢
发布时间: 2006-02-20
参考文献
- [1].烟花爆炸优化算法及其改进研究[D]. 贾红.华中科技大学2010
- [2].车辆路径问题的蚁群算法研究[D]. 王书勤.重庆大学2008
- [3].教与学优化算法的改进研究[D]. 岳振芳.宁夏大学2016
- [4].基于增量的不确定社团发现算法研究[D]. 刘爽爽.山东师范大学2016
- [5].求解强制单调变分不等式的算法比较[D]. 郭智源.南京大学2014
- [6].蚁群算法在开拓系统结构优化中的应用研究[D]. 周华.西安建筑科技大学2005
- [7].基于蚁群算法的车辆路径问题的研究[D]. 龙汀.合肥工业大学2008
- [8].一类特殊非线性问题的长效精细算法[D]. 刘晓梅.上海交通大学2007
- [9].非重叠社区发现中近邻传播算法的研究与应用[D]. 王淑靖.中国矿业大学2016
- [10].大规模复杂网络的社区发现算法研究[D]. 梁晋.山西大学2016
相关论文
- [1].求解支持向量机的若干优化算法的研究[D]. 侯伟真.山东科技大学2007
- [2].支持向量机训练算法研究[D]. 陈栋梁.合肥工业大学2007
- [3].支持向量机的若干问题的研究[D]. 刘鹏.贵州大学2007
- [4].支持向量机分类算法研究与应用[D]. 彭璐.湖南大学2007
- [5].支持向量机训练算法实现及其改进[D]. 兰光华.南京理工大学2005
- [6].支持向量机中若干优化算法研究[D]. 邵小健.山东科技大学2005
- [7].用于回归估计的支持向量机的学习算法及应用[D]. 丁蕾.安徽大学2005
- [8].基于支持向量机的机器学习研究[D]. 刘华煜.大庆石油学院2005
- [9].支持向量机模型和算法研究[D]. 姜翠萍.大连理工大学2006
- [10].支持向量机研究及其应用[D]. 刘碧森.电子科技大学2003