首页> 正文

支持向量机的增量学习算法研究

2020-11-28阅读(173)

支持向量机的增量学习算法研究

论文摘要

支持向量机（Support Vector Machine, SVM）是在统计学习理论基础上发展起来的一种新的机器学习方法,它是统计学习理论中的结构风险最小化思想的一种实现.SVM的基本思想是通过非线性变换将输入空间变换到一个高维空间,然后在这个新的空间中求取最优分类超平面.由于最优分类超平面问题实际上是一个带有线性约束的凸二次规划问题,因此SVM算法本质是求解大规模二次规划的算法.对于这种凸二次规划问题的求解,很多学者提出了许多有效的求解方法.但对于大规模的学习问题,由于存储和计算量两方面的要求比较高,目前的各种算法还有许多困难需要克服.Mangasarian等人提出的Lagrangian支持向量机（Lagrangian Support Vector Machines, LSVM）算法把SVM的求解问题转化成只有非负约束的最小化问题.并把其最优性条件转化成对称正定互补问题,再用简单的线性收敛的迭代算法来求解.目前,线性LSVM可以处理上百万样本的数据集,但对于非线性的LSVM,尽管算法在理论上是收敛的,在实际处理大规模问题时,效果并不理想.本文基于LSVM算法,主要做了以下研究工作：（1）在深入了解Lagrangian支持向量机的基本原理和算法的基础上,提出了LSVM的在线和成批增量学习算法.每次样本增加后训练集发生变化,分类器需要更新.我们所给出的在线和成批增量学习算法充分利用了增量前的计算信息,不需要对增量后的新训练集进行重新训练,从而使得增量后矩阵逆的计算大大简化,降低了算法运行时间.为了验证所给出的LSVM的在线和成批增量算法的有效性,我们选取标准模式分类库中的9组数据集进行了实验,实验结果表明所给出的增量学习算法在保证分类正确率的情况下,有效地提高了训练速度.（2）随着增量过程的进行,训练集会越来越大,数据需要大规模的存储空间,从而导致训练速度缓慢.针对这个问题我们给出了基于LSVM的在线和成批减量学习算法.在所给出的算法中,通过矩阵的分块计算,提高了减量学习算法中矩阵逆的求解速度,算法充分利用了减量前的计算结果,避免了由于去掉一些样本而引起的重新训练.数值实验结果表明,所给出的LSVM在线和成批减量学习算法在保持原有分类精度的情况下,节省了存储空间并且降低了运行时间.（3）无论在增量学习还是减量学习过程中,选择哪些样本增加或者丢弃都很关键.为此,我们定义了样本标签的概念,给出了带有样本选择策略的增量和减量学习算法,算法利用样本标签来决定要丢掉的样本.利用该策略能有效地丢掉非支持向量,很好地保留支持向量.数值实验表明,带有样本选择策略的增量和减量学习算法也能有效节省存储空间且大大降低运行时间.（4）基于LSVR的基本原理和算法,提出了在线和成批增量回归学习算法.在LSVR的在线和成批增量回归学习算法中,当有新样本加入后,新矩阵的求逆运算利用了增量前的计算结果,不需要重新训练,从而降低算法的运行时间.通过三个真实数据集和两个生成数据集验证了在线和成批增量回归算法的有效性.随后把LSVR在线增量回归学习算法应用到时间序列预测中,并利用MSE来衡量预测误差.通过对Mackey-Glass时间序列的预测,表明该算法具有有效的预测能力和很好的抗干扰能力.通过与SVMlight和SOR-SVR算法的比较实验,表明基于LSVR的在线增量回归学习算法对于时间序列预测的有效性.（5）利用分解重构思想给出了以两分类LSVM为基础的多分类LSVM的一对一（OOLSVM）和一对多（OALSVM）两个多分类算法.在OALSVM算法中,需要解是个LSVM两类分类器；而在OOLSVM算法中,则需要解κ（κ-1）／2个LSVM两类分类器,其中κ是类别数.相比之下,标准SVM的一对一（OOSVM）和一对多（OASVM）多分类算法需要解代价比较高的二次规划问题.通过数值实验表明,我们所给出的OALSVM和OOLSVM两个算法在保持训练正确率和测试正确率的同时,明显降低了CPU的运行时间.我们利用两分类增量学习算法的思想,进一步给出了OOLSVM和OALSVM的在线增量学习算法.最后,针对现有的支持向量机算法存在的问题,我们提出了进一步研究的问题.

论文目录

  • 中文摘要
  • 英文摘要
  • 目录
  • 第一章 绪论
  • §1.1 课题研究背景与意义
  • §1.2 国内外相关研究现状
  • §1.2.1 支持向量机的相关研究
  • §1.2.2 支持向量机增量学习的相关研究
  • §1.3 本文主要工作概述
  • §1.3.1 本文的主要研究内容
  • §1.3.2 本文的组织结构
  • 第二章 统计学习理论与支持向量机
  • §2.1 机器学习的基本问题
  • §2.1.1 机器学习
  • §2.1.2 经验风险最小化
  • §2.1.3 复杂性和推广能力
  • §2.2 统计学习理论的核心内容
  • §2.2.1 学习过程一致性的条件
  • §2.2.2 VC维
  • §2.2.3 推广性的界
  • §2.2.4 结构风险最小化
  • §2.3 支持向量机
  • §2.3.1 最优分类面
  • §2.3.2 线性可分支持向量分类机
  • §2.3.3 线性不可分支持向量机
  • §2.3.4 非线性支持向量机
  • §2.4 支持向量回归机
  • §2.4.1 线性ε-支持向量回归机
  • §2.4.2 非线性ε-支持向量回归机
  • §2.5 小结
  • 第三章 基于Lagrangian支持向量机的增量学习算法
  • §3.1 引言
  • §3.2 Lagrangian支持向量机
  • §3.3 Lagrangian支持向量机的在线增量学习算法
  • §3.3.1 在线增量学习
  • §3.3.2 在线增量学习算法
  • §3.3.3 数值实验
  • §3.3.4 结论
  • §3.4 Lagrangian支持向量机的成批增量学习算法
  • §3.4.1 数值实验
  • §3.4.2 结论
  • §3.5 Lagrangian支持向量机的减量学习算法
  • §3.5.1 支持向量机的减量学习
  • §3.5.2 Lagrangian支持向量机的减量学习算法
  • §3.5.3 数值实验
  • §3.5.4 结论
  • §3.6 带有淘汰策略的增量和减量学习算法
  • §3.6.1 样本选择策略
  • §3.6.2 带有淘汰策略的增量和减量学习算法
  • §3.6.3 数值实验
  • §3.6.4 结论
  • §3.7 小结
  • 第四章 Lagrangian支持向量回归机的增量学习算法
  • §4.1 引言
  • §4.2 Lagrangian支持向量回归机
  • §4.3 Lagrangian支持向量回归机的在线增量学习算法
  • §4.3.1 在线增量回归学习算法
  • §4.3.2 数值实验
  • §4.3.3 结论
  • §4.4 Lagrangian支持向量回归机的成批增量学习算法
  • §4.4.1 成批增量回归学习算法
  • §4.4.2 数值实验
  • §4.4.3 结论
  • §4.5 基于Lagrangian支持向量回归机的时间序列分析
  • §4.5.1 时间序列分析
  • §4.5.2 基于Lagrangian支持向量回归机的时间序列分析
  • §4.6 小结
  • 第五章 基于Lagrangian支持向量机的多分类算法
  • §5.1 引言
  • §5.2 基于Lagrangian支持向量机的多分类算法
  • §5.2.1 一对多多分类Lagrangian支持向量机
  • §5.2.2 一对一多分类Lagrangian支持向量机
  • §5.2.3 数值实验
  • §5.2.4 结论
  • §5.3 Lagrangian支持向量机多分类在线增量学习
  • §5.3.1 一对多多分类在线增量学习
  • §5.3.2 一对一多分类在线增量学习
  • §5.3.3 数值实验
  • §5.4 小结
  • 第六章 总结与展望
  • §6.1 本文工作总结
  • §6.2 工作展望
  • 参考文献
  • 攻读博士学位期间发表和完成的主要学术论文目录
  • 致谢

    • 相关论文文献

    • [1].算法：一种新的权力形态[J]. 治理现代化研究 2020(01)
    • [2].算法决策规制——以算法“解释权”为中心[J]. 现代法学 2020(01)
    • [3].面向宏观基本图的多模式交通路网分区算法[J]. 工业工程 2020(01)
    • [4].算法中的道德物化及问题反思[J]. 大连理工大学学报(社会科学版) 2020(01)
    • [5].算法解释请求权及其权利范畴研究[J]. 甘肃政法学院学报 2020(01)
    • [6].算法新闻的公共性建构研究——基于行动者网络理论的视角[J]. 人民论坛·学术前沿 2020(01)
    • [7].算法的法律性质：言论、商业秘密还是正当程序?[J]. 比较法研究 2020(02)
    • [8].关键词批评视野中的算法文化及其阈限性[J]. 学习与实践 2020(02)
    • [9].掌控还是被掌控——大数据时代有关算法分发的忧患与反思[J]. 新媒体研究 2020(04)
    • [10].美国算法治理政策与实施进路[J]. 环球法律评论 2020(03)
    • [11].算法解释权:科技与法律的双重视角[J]. 苏州大学学报(哲学社会科学版) 2020(02)
    • [12].大数据算法决策的问责与对策研究[J]. 现代情报 2020(06)
    • [13].大数据时代算法歧视的风险防控和法律规制[J]. 河南牧业经济学院学报 2020(02)
    • [14].风险防范下算法的监管路径研究[J]. 审计观察 2019(01)
    • [15].模糊的算法伦理水平——基于传媒业269名算法工程师的实证研究[J]. 新闻大学 2020(05)
    • [16].算法推荐新闻对用户的影响及对策[J]. 新媒体研究 2020(10)
    • [17].如何加强对算法的治理[J]. 国家治理 2020(27)
    • [18].“后真相”背后的算法权力及其公法规制路径[J]. 行政法学研究 2020(04)
    • [19].算法规制的谱系[J]. 中国法学 2020(03)
    • [20].论算法排他权:破除算法偏见的路径选择[J]. 政治与法律 2020(08)
    • [21].政务算法与公共价值:内涵、意义与问题[J]. 国家治理 2020(32)
    • [22].算法的法律规制研究[J]. 上海商业 2020(09)
    • [23].蚁群算法在文字识别中的应用研究[J]. 信息与电脑(理论版) 2019(22)
    • [24].大数据聚类算法研究[J]. 无线互联科技 2018(04)
    • [25].RSA算法的改进研究[J]. 计算机与网络 2018(14)
    • [26].智能时代的新内容革命[J]. 国际新闻界 2018(06)
    • [27].改进的负载均衡RSA算法[J]. 电脑知识与技术 2018(25)
    • [28].基于深度学习的视觉跟踪算法研究综述[J]. 计算机科学 2017(S1)
    • [29].大数据算法的歧视本质[J]. 自然辩证法研究 2017(05)
    • [30].深度学习算法在智能协作机器人方面的应用[J]. 中国新通信 2017(21)

    标签：;  ;  ;  ;  ;  ;  ;  ;  

    支持向量机的增量学习算法研究
    下载Doc文档

    猜你喜欢

    © 2024 毕速过 版权所有 鄂ICP备12018319号-5