竞争学习向量量化和支持向量机的关键技术研究

论文题目: 竞争学习向量量化和支持向量机的关键技术研究

论文类型: 博士论文

论文专业: 计算机应用技术

作者: 周水生

导师: 周利华

关键词: 模式识别,统计学习理论,支持向量机,二次规划,样本,迭代算法,回归函数,熵函数,算法,对偶,下降可行方向,几何特性,投影,几何算法,模型选择

文献来源: 西安电子科技大学

发表年度: 2005

论文摘要: 基于数据的机器学习问题是现代化智能技术中十分重要的一个方面,主要研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律,利用这些规律去分析客观对象,对未来数据或无法观测的数据进行预测。而学习方法基本上可以分为监督学习和非监督学习两种方法。本文研究内容也分为两部分,第一部分主要对非监督学习中基于竞争网络的学习量化,特别是广义学习量化算法进行的研究,在论文的第二章叙述。第二部分主要对基于统计学习理论的支持向量机的一些关键问题进行的深入研究:包括算法、核函数和模型选择研究,主要在论文的第三、四、五、六、七、八章介绍。本文所有研究工作可以分为以下6个方面:1.对非监督学习中基于竞争网络的学习量化的研究,特别是广义学习量化算法的研究。分析了已有算法的性质和存在的问题,提出一种修正的广义学习向量量化算法,该算法不但简单,而且改进了已有算法的一些缺陷:克服了一些算法对数据的“Scale”问题,并且对初始点和初始学习率都不敏感。进一步引入激励因子,利用模拟退火思想,给出提高一般学习向量量化算法的措施。2.对标准支持向量机的算法研究。这部分给出了三个算法:1)针对线性分类问题,将原二次规划转化为低维无约束非光滑规划,采用合适的光滑函数给出求解该问题的低维Newton算法;2)对一般分类问题,通过分析二次规划的ε-扰动规划的最优解和二次规划的无约束Lagrange对偶问题的光滑熵函数的极小点的关系,提出求ε-支持向量的极大熵算法;3)对一般分类问题,同样讨论了其无约束、非光滑Lagrange对偶问题,而采用Huber鲁棒回归函数将其近似为可微光滑分片二次函数,采用快速收敛的精确Newton型算法求解,给出训练支持向量机的Huber近似算法,由于目标函数的梯度是分片线性函数,所有过程可以快速完成。3.对变形SVM问题的研究(1)。针对O. L. Mangasarian及其学生、合作者提出的一种简化变形SVM,利用Lagrange对偶技术,将高维二次规划转化极小化低维的可微分片二次函数。注意到该目标函数的梯度连续但二阶导数在一些区域不存在,采用精确线搜索的无约束共轭梯度算法求解,提出共轭梯度支持向量机,其中处理非线性问题时需要对核矩阵进行Cholesky分解或非完全Cholesky分解。

论文目录:

摘要

ABSTRACT

第一章 绪论

1.1 引言

1.2 竞争学习网络及其向量量化的研究背景及现状

1.2.1 竞争学习

1.2.2 学习向量量化

1.3 统计学习理论及其SVM 研究背景及现状

1.3.1 统计学习理论的发展

1.3.2 SVM 的算法研究

1.3.3 SVM 的应用研究

1.3.4 SVM 的核函数和模型选择研究

1.4 本文工作及安排

第二章 竞争学习网络及广义学习向量量化

2.1 学习理论及自组织系统

2.1.1 通用学习方程

2.1.2 自组织学习

2.1.3 竞争学习

2.1.4 自组织特征映射(Self-Organizing Feature Map, SOFM)

2.2 向量量化及广义学习向量量化

2.2.1 学习向量量化(Learning VQ, LVQ)

2.2.2 广义向量量化

2.2.3 模糊学习量化算法

2.3 一个新的竞争网络学习算法

2.3.1 修正的广义学习向量量化算法

2.3.2 模糊修正广义学习量化

2.3.3 实验比较

2.4 一种提高学习向量量化算法性能的新方法

2.4.1 引言

2.4.2 提高竞争网络性能的新措施

2.4.3 实验仿真

2.5 小结与讨论

第三章 支持向量机的基本理论和几何特性研究

3.1 监督学习和统计学习理论

3.1.1 监督机器学习问题

3.1.2 统计学习理论

3.2 SVM 的基本理论

3.2.1 学习过程一致性的条件

3.2.2 学习过程收敛率的界

3.2.3 结构风险最小化

3.3 支持向量机模型

3.3.1 ?-间隔分类超平面

3.3.2 确定最优分类超平面

3.3.3 推广到线性不可分情形

3.3.4 核函数和非线性问题

3.3.5 常用核函数举例

3.4 一种推导SVM 的直观方法——FISHER 投影方法

3.4.1 Fisher 线性判别法

3.4.2 利用Fisher 投影构造最优分类超平面

3.4.3 模拟实验

3.4.4 小结

3.5 结束语

第四章 标准支持向量机算法研究

4.1 标准支持向量机问题简介

4.1.1 标准SVM 问题

4.1.2 经典求解算法

4.2 低维NEWTON 算法

4.2.1 算法与分析

4.2.2 数值模拟实验

4.2.3 结论

4.3 训练支持向量机的极大熵方法

4.3.1 SVM 的无约束对偶问题及其熵近似函数的性质

4.3.2 SVM 的ε-最优解

4.3.3 算法及分析

4.3.4 数值模拟实验

4.3.5 结论

4.4 训练支持向量机的HUBER 近似算法

4.4.1 引言

4.4.2 二次规划的无约束对偶问题

4.4.3 对偶问题的Huber 近似及其性质

4.4.4 算法提出

4.4.5 算法分析

4.4.6 数值模拟实验

4.4.7 结论

4.5 结束语

第五章 变形支持向量机算法研究(1)——CGSVM

5.1 变形SVM 模型

5.1.1 引言

5.1.2 二次损失函数支持向量机

5.1.3 最小二乘支持向量机LS-SVM

5.1.4 Mangasarian 等的变形问题

5.1.5 广义支持向量机GSVM

5.2 已有变形算法介绍

5.2.1 连续超松弛算法SOR

5.2.2 光滑支持向量机SSVM

5.2.3 Lagrange 支持向量机LSVM

5.3 共轭梯度型支持向量机(CGSVM)

5.3.1 线性变形SVM 的无约束Lagrangian 对偶

5.3.2 非线性问题无约束Lagrangian 对偶

5.3.3 CGSVM 算法

5.3.4 精确线搜索

5.4 算法实现与实验

5.4.1 线性分类实验

5.4.2 非线性分类实验

5.4.3 复杂度分析

5.5 结束语

第六章 变形支持向量机算法研究(2)——ESNSVM

6.1 SVM 及其变形问题介绍

6.1.1 引言

6.1.2 二次损失函数变形及其Mangasarian 的变形

6.2 半光滑方法

6.2.1 半光滑(Semi-smooth)方法介绍

6.2.2 半光滑SVM

6.3 精确半光滑SVM

6.3.1 变形SVM 的无约束Lagrange 对偶问题

6.3.2 算法提出

6.3.3 算法收敛性

6.3.4 广义Jacobian 矩阵B_k的计算和迭代更新

6.3.5 基于“二分查找”的精确线搜索

6.5 实验仿真

6.5.1 与算法LSVM 的实验比较

6.5.2 ESNSVM 与半光滑算法Semismooth-SVM 的比较分析

6.6 结束语

第七章 支持向量机的几何算法研究——新的可行方向算法

7.1 SVM 的几何解释

7.1.1 SVM 介绍

7.1.2 C-SVM 的几何解释

7.1.3 v-SVM 的几何解释

7.2 几何算法介绍

7.2.1 Keerthi 等的最近点(Nearest Point)算法

7.2.2 Franc 和Hlavác的S-K 算法

7.3 一个新的可行方向算法

7.3.1 S-K 算法分析

7.3.2 新的可行方向算法

7.3.3 收敛性分析

7.3.4 停止条件

7.3.5 推广处理不可分问题

7.4 试验与分析

7.5 结束语

第八章 支持向量机的核函数和模型选择研究

8.1 引言

8.2 一类新的核函数

8.2.1 高斯核函数的性能分析

8.2.2 一个新的核函数及其性能分析

8.3 核参数选择分析

8.3.1 距离判别准则

8.3.2 夹角判别准则

8.3.3 混合策略

8.4 实验仿真

8.5 结论

第九章 总结与展望

参考文献

致谢

读博士期间的研究论文和参加的科研项目

发布时间: 2007-01-10

参考文献

• [1].高光谱图像目标检测及压缩方法研究[D]. 李晓慧.哈尔滨工程大学2014

标签：模式识别论文;  统计学习理论论文;  支持向量机论文;  二次规划论文;  样本论文;  迭代算法论文;  回归函数论文;  熵函数论文;  算法论文;  对偶论文;  下降可行方向论文;  几何特性论文;  投影论文;  几何算法论文;  模型选择论文;