基于KPLS特征提取下的FWLS-SVM回归方法

论文摘要

在建立数学模型时,特征选择或特征提取是非常重要的。传统的PLS方法通过线性变换将原始观测值化为个数相同的一组新特征,也即每一个新特征都是原始特征的线性组合,然而特征的可理解性很差。此外,过高的特征空间维数会导致准确率下降。通过引入核函数,非线性PLS发展成为KPLS,它先把初始输入映射到高维特征空间,然后在高维特征空间中计算成分。利用KPLS对数据进行特征提取,可以在提取包含样本信息的成分时,清除数据的相关性和噪声,并且可以使样本空间的维数降低。经过特征提取后,建立在大数定理基础之上的经典统计理论是先假设样本服从某一具体的分布函数。但在实际应用中,一方面样本数目是有限的；另一方面样本的分布往往是未知的。与经典统计理论相比,现代统计学习理论为解决有限样本学习问题提供了一个统一的框架。在此理论基础上发展了新的学习方法——SVM方法具有拟合精度高、选择参数少、推广能力强和全局最优等特点。然而,传统的SVM方法是转化为求解带约束条件的凸二次规划问题,这是十分复杂的。此外,它还要求核函数正定。针对此,Suykens等人提出了LS—SVM方法。该方法是把SVM的学习问题转化为线性方程组的求解问题,从而使计算复杂度大大降低。传统的SVM方法和LS—SVM方法都要求观测或实验数据必须是经典数据。但现实对象的描述大多具有模糊性。因此,本文对模糊数据进行处理,使LS—SVM发展成为基于模糊数的LS—SVM方法。从而使SVM方法在现实中得到广泛应用。考虑到采集的样本之间的差异性,一些专家和学者提出了对不同的样本采用不同的惩罚权系数法。但是目前确定样本隶属度的方法基本上是基于距离来度量的。对样本间的关联程度很少涉及到。这里,把基于综合因素的模糊隶属度的确定方法进行推广。该方法不仅考虑了样本与类中心之间的关系,还考虑了类内各个样本之间的联系,有效地将支撑向量与噪声样本区分开来。

论文目录

• 摘要
• Abstract
• 数学符号与英文缩写说明
• 第1章 绪论
• 1.1 研究背景
• 1.1.1 基于核的偏最小二乘回归研究背景
• 1.1.2 模糊支撑向量机的研究背景
• 1.2 基于KPLS—FWLS—SVM回归方法的基本原理
• 1.2.1 KPLS的原理
• 1.2.2 KPLS—FWLS—SVM的原理
• 1.3 PLS和SVM回归方法的研究现状
• 1.3.1 PLS回归分析的研究现状
• 1.3.2 基于SVM和模糊理论的回归分析研究现状
• 1.4 本文的结构
• 第2章 模糊线性回归模型
• 2.1 模糊数及其基本概念
• 2.2 模糊数空间的距离
• 2.3 模糊多元线性回归模型
• 2.3.1 模糊系数下的线性回归模型
• 2.3.2 模糊解释变量下的线性回归模型
• 第3章 SVM
• 3.1 小样本统计学习理论
• 3.2 SVM
• 3.2.1 线性可分情况
• 3.2.2 线性不可分情况
• 3.3 核函数
• 第4章 支撑向量回归模型
• 4.1 标准SVR模型
• 4.2 单参数SVR模型
• 4.3 加权稳健SVR模型
• 4.4 LS—SVR模型
• 4.5 基于模糊数的SVR模型
• 4.5.1 基于模糊数的线性支撑向量回归模型
• 4.5.2 基于模糊数的非线性支撑向量回归模型
• 第5章 基于KPLS特征提取下的FWLS—SVM回归方法
• 5.1 偏最小二乘回归的线性模型
• 5.1.1 方法思想
• 5.1.2 方法步骤
• 5.1.3 参数向量的性质
• 5.2 偏最小二乘模糊回归的非线性模型
• 5.3 基于核的偏最小二乘算法
• 5.4 模糊加权最小二乘支撑量回归
• 5.5 基于综合因素的模糊隶属度的确定
• 5.5.1 基于样本与类中心之间距离的隶属度函数
• 5.5.2 基于灰色关联度的隶属度函数
• 5.5.3 基于综合因素的模糊隶属度的确定
• 5.6 样本为非模糊数下的算法
• 5.7 样本为模糊数下的算法
• 第6章 结论与展望
• 参考文献
• 致谢
• 攻读学位期间发表的论文