不平衡数据集上支持向量机算法研究

论文摘要

支持向量机是由Vapnik等人提出的一种新的学习机器,它建立在统计学习理论基础之上,是处理小样本学习的有效工具,在文本自动分类、信号处理、手写数字识别、通讯等领域得到了广泛应用；并克服了传统机器学习中的过学习、维数灾难、局部极值等问题。通常的支持向量机在处理不平衡数据集时,不同类别样本数量上的差异导致分类器性能的下降,而实际应用中,少数类的样本往往提供更重要的信息,因此如何有效地提高不平衡数据集上机器学习的分类性能成为机器学习领域急需解决的课题。本文首先介绍了支持向量机的基本理论以及处理不平衡数据集的支持向量机研究现状。对于两分类问题,正负类训练样本数量的不平衡对分类性能的影响很大,Veropulos等人对传统的SVM进行了改进,提出对不同的类别引入不同的惩罚因子。本文则基于正负类的样本数量,结合支持向量,提出了一种调整分类超平面的方法。该方法有效地提高了正类的预测正确率。寻找支持向量机的最优参数也是支持向量机研究领域的一个重要分支。本文从两个惩罚参数的不平衡数据分类模型出发,在其对偶问题中,把两个惩罚参数也看作核函数的参数,结合最优化方法,分别对L1-SVM和L2-SVM提出了在不平衡数据集上进行参数选择的新方法。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 论文的研究内容和意义
• 1.4 论文的主要安排
• 2 支持向量机的基本理论
• 2.1 引言
• 2.2 支持向量分类机
• 2.3 支持向量分类机解的非唯一性
• 3 调整分类超平面的新方法--平均距离比法
• 3.1 引言
• 3.2 样本数量对分类性能的影响
• 3.3 平均距离比法
• 3.4 数值实验
• 4 不平衡数据集上SVM参数选择算法
• 4.1 引言
• 4.2 不平衡数据集上L2-SVM多参数选择方法
• 4.3 不平衡数据集上L1-SVM多参数选择方法
• 4.4 数值实验
• 5 总结与展望
• 参考文献
• 致谢
• 攻读硕士期间主要成果