支持向量机集成及在遥感分类中的应用

论文摘要

自Vapnik于1995年提出支持向量机(Support Vector Machines，SVM)后，支持向量机已经在很多领域得到了成功的应用。然而支持向量机也存在着几个缺点：首先，用于解优化问题的逼近算法会影响泛化能力；其次，核函数和分类参数(包括惩罚系数C，核函数参数)的选择没有特别好的办法，应用时不容易找到最优的核函数和分类参数；最后，两类支持向量机扩展到多类时会导致性能下降。集成技术是现在机器学习的热点之一，以神经网络、决策树等为基本分类器的集成研究已经取得了很大的进展，而基于支持向量机的集成技术研究相对起步较晚，研究较少。本文研究了多类支持向量机集成，同时，尝试把支持向量机集成应用于遥感分类的研究。本文所取得的创新性研究成果主要有： 1．比起神经网络、决策树等学习算法，支持向量机是相对稳定的分类器，利用常用的集成算法Bagging和Boosting对SVM进行集成并不能有效地提高分类效果，本文提出了同时扰动训练集和SVM分类模型参数的RBaggSVM和RBoostSVM算法，算法的特点是在一定的范围内随机选取SVM的模型参数，以获得有差异的成员分类器。 2．把寻找部分分类器参与集成以取得最佳效果看作是优化问题，遗传算法对优化问题具有全局寻优能力，本文提出了基于遗传算法的GARBaggSVM和GARBoostSVM分类器选择算法。尝试应用遗传算法对SVM集成的合成权重进行优化，然后选择最优的部分成员SVM参与集成来提高分类精度。 3．提出一种基于局部精度的动态集成算法DERBaggSVM和DERBoostSVM，根据待分类测试样本在其周围邻近空间的局部精度来选择一部分成员分类器参与集成，经投票或加权投票得到分类结果。 4．尝试将多类支持向量机、支持向量机集成应用到多源遥感分类中，并与最大似然法、神经网络和神经网络集成技术进行比较，显示了支持

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 支持向量机简介
• 1.1.1 理论背景
• 1.1.2 方法介绍
• 1.1.3 实现算法
• 1.2 多类支持向量机
• 1.2.1 一对多方法
• 1.2.2 一对一方法
• 1.2.3 有向无环图
• 1.2.4 多类SVM的性能
• 1.3 支持向量机的后验概率
• 1.3.1 两类SVM的后验概率
• 1.3.2 多类SVM的后验概率
• 1.4 支持向量机集成的研究
• 1.4.1 分类器集成概述
• 1.4.2 SVM集成
• 1.4.3 SVM集成的研究进展
• 1.5 实验工具箱、数据集与结果分析
• 1.5.1 LIBSVM工具箱
• 1.5.2 实验数据集
• 1.5.3 交叉验证与评价方法
• 1.5.4 多类SVM在实验数据集上的性能
• 1.6 本文的内容组织与安排
• 第2章 成员分类器
• 2.1 成员分类器
• 2.1.1 成员分类器的要求
• 2.1.2 成员分类器的生成
• 2.1.3 成员分类器的组合
• 2.2 Bagging
• 2.2.1 算法原理
• 2.2.2 试验结果分析
• 2.3 Boosting
• 2.3.1 算法原理
• 2.3.2 试验结果分析
• 2.4 成员分类器的数量
• 2.5 本章小结
• 第3章 随机Bagging和Boosting
• 3.1 理论分析
• 3.2 实现方法
• 3.2.1 RBaggSVM
• 3.2.2 RBoostSVM
• 3.3 试验结果分析
• 3.4 本章小结
• 第4章 基于GA的分类器选择
• 4.1 理论分析
• 4.1.1 验证样本
• 4.1.2 部分可以比全部更好
• 4.2 遗传算法介绍
• 4.2.1 GA概要
• 4.2.2 GA运算
• 4.2.3 GA特点
• 4.3 实现方法
• 4.4 试验结果分析
• 4.5 本章小结
• 第5章 动态集成
• 5.1 分类器选择的标准
• 5.1.1 衡量标准
• 5.1.2 局部精度定义
• 5.2 实现方法
• 5.3 试验结果分析
• 5.4 本章小结
• 第6章 支持向量机集成在遥感分类中的应用研究
• 6.1 多源遥感图像分类过程
• 6.2 研究区和实验数据
• 6.3 支持向量机分类
• 6.4 基于SVM集成的遥感图像分类
• 6.5 基于MRF-SVM的多源遥感图像分类
• 6.5.1 理论分析
• 6.5.2 实现方法
• 6.5.3 试验结果分析
• 6.6 本章小结
• 第7章 结论与展望
• 7.1 本文主要内容总结
• 7.2 本文的创新点
• 7.3 进一步的工作
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢