基于多类损失函数的SVR算法的比较研究

论文摘要

支持向量机（Support Vector Machine, SVM）是Vapnik等人于20世纪90年代初提出的一种基于统计学习理论与结构风险最小化原则的新型学习机器。由于其具有优越的学习能力,能够较好地解决小样本、非线性、高维数等实际问题,在国内外学术界已日益受到广泛的重视,在模式识别、函数估计、预测建模等方面都得到越来越多的应用。支持向量机（SVM）在引入损失函数下被用来解决回归问题从而被称为支持向量回归机（SVR）。比较常见的损失函数有ε-不敏感损失函数、高斯损失函数、鲁棒损失函数和拉普拉斯损失函数。基于ε-不敏感损失函数的SVR算法的理论和实际应用都比较成熟,而基于高斯损失函数,鲁棒损失函数或拉普拉斯损失函数的SVR算法理论仍需进一步完善。本文借鉴e-不敏感损失函数的SVR算法理论,借助拉格朗日对偶理论分别推导出了其他三种损失函数下的SVR算法,并将SVR算法与时间序列分析方法中的AR模型算法组合,通过实际数据分析比较基于各种不同损失函数的SVR算法的有效性。数值试验中我们重点讨论了SVR算法中各个参数的选取。本文中所用到的参数选取方法可为进一步研究提供参考。最后本文在实验数据的分析比较下给出了总结和展望。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 第二章 支持向量回归机（SVR）理论
• 2.1 支持向量分类机
• 2.1.1 分类问题
• 2.1.2 线性可分问题
• 2.1.3 近似线性可分问题
• 2.1.4 实质线性不可分问题
• 2.1.5 常用核函数形式
• 2.2 支持向量回归机
• 2.2.1 回归问题
• 2.2.2 最大间隔回归法
• 第三章 不同损失函数下的SVR算法探究
• 3.1 基于ε-不敏感损失函数的SVR算法
• 3.2 基于高斯损失函数的SVR算法
• 3.3 基于鲁棒损失函数的SVR算法
• 3.4 基于拉普拉斯损失函数的SVR算法
• 第四章 数值实验和结果分析
• 4.1 数据预处理
• 4.2 汇率预测模型参数训练
• 4.2.1 模型参数初探及比较
• 4.2.2 模型参数进一步探索与比较
• 4.2.3 模型参数的确定
• 4.3 汇率预测模型应用
• 第五章 总结与展望
• 附录
• 参考文献
• 致谢