支持向量机回归算法的研究与应用

论文摘要

支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论（Statistical Learning Theory, SLT）的新数据建模方法。它建立在VC （Vapnik-Chervonenkis Dimension）维理论和结构风险最小原理基础上,能较好地解决小样本、非线性、高维数和局部极小点等实际问题,同时能获得较好的泛化能力。SVM在工业领域的应用研究相对来说不多,鉴于化工领域小样本统计的特点,它在化工领域中有较大的应用前景。本文针对支持向量回归机（Support Vector Regression, SVR）算法,从算法性能与推广能力两方面对其展开研究,并将其应用于工业双酚A生产过程软测量建模中。在详细分析SVR算法及其属性的基础上,了解到应用单个核函数的局限性,提出了采用混合核支持向量机来对工业生产进行建模的方法,以提高模型的泛化能力和精度。本文中的混合核函数由一个局部核函数和一个全局核函数线性组合而成,并可以通过参数来调节局部核和全局核对混合核的作用。双酚A软测量建模的仿真研究表明,该混合核支持向量机软测量模型具有较好的泛化能力。SVM中参数的寻优一般只针对惩罚系数C和核参数σ,而混合核的引入,使SVM又多了一个可调参数m。以往m是取经验值,不能确保该参数为最优。本文提出了基于混沌粒子群（Chaotic Particle Swarm Optimization, CPSO）算法的混合核支持向量机参数综合寻优方法,以k ? fold交叉验证误差函数为目标函数来寻找满足条件的最优参数组合{C ,σ,m},从而提高模型的精度。通过对双酚A软测量建模的仿真研究表明,混合核参数优化后的模型比经验模型效果要好,泛化能力有所提升。SVM算法在理论上的发展还包括与数据预处理方法的结合,就是将数据中脱离领域知识的信息即数据本身的性质融入SVM算法中从而产生新的算法。作为数据预处理常用的模糊C-均值聚类（Fuzzy C-means clustering, FCM）算法在聚类后各类别边界信息间存在干扰,使模型的精度不能得到很好的改善。而线性判别分析（Linear Discriminant Analysis, LDA）方法是一种用于扩大样本间界限的有效方法,能扩大类别间的距离,使聚类更为精确。FCM与改进的LDA结合然后再通过多模型融入到SVM算法中,这正好是算法间的补充和扩展。通过对双酚A软测量建模的仿真研究表明,该方法具有一定的实用性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景及意义
• 1.1.1 传统统计学与经验风险最小化准则
• 1.1.2 统计学习理论与结构风险最小化准则
• 1.1.3 VC 维
• 1.2 支持向量机的特点
• 1.3 支持向量机国内外研究现状
• 1.4 论文结构安排
• 第二章 标准支持向量机算法介绍
• 2.1 引言
• 2.2 支持向量分类机
• 2.3 支持向量回归机
• 2.3.1 线性支持向量回归机
• 2.3.2 核函数
• 2.3.3 非线性支持向量回归机
• 2.4 支持向量机属性分析
• 2.5 本章小节
• 第三章 混合核支持向量机在化工软测量中的应用研究
• 3.1 引言
• 3.2 核函数介绍
• 3.3 混合核函数方法
• 3.4 混合核支持向量回归法在双酚A 软测量建模中的仿真研究
• 3.4.1 工艺分析
• 3.4.2 模型的建立
• 3.5 本章小节
• 第四章 基于CPSO 的混合核支持向量机参数选择及其应用
• 4.1 引言
• 4.2 参数选择的评价标准——推广能力估计
• 4.3 混沌粒子群优化算法的原理
• 4.4 基于混沌粒子群的混合核支持向量机参数优化算法
• 4.5 混合核参数优化方法在双酚A 软测量建模中的仿真研究
• 4.6 本章小节
• 第五章 LDA 算法的改进及其在FCM 中的应用
• 5.1 引言
• 5.2 模糊C-均值聚类算法
• 5.3 经典线性判别法及其改进
• 5.4 基于SVM 多模型的建模步骤
• 5.5 模型建立及仿真
• 5.5.1 工艺分析
• 5.5.2 模型的建立
• 5.6 本章小节
• 第六章 总结与展望
• 6.1 本文工作总结
• 6.2 今后工作展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文