不均衡支持向量机参数选取的两种优化方法

论文摘要

支持向量机是建立在统计学习理论和数学规划基础之上的一种数据挖掘的新方法。数学规划是运筹学的一个重要分支，在机器学习、网络问题、工程机械学等领域有着广泛应用。它和数据挖掘技术的结合已使大规模和高复杂性的问题的解决成为可能，并在特征提取、聚类和回归等方面有很重要的应用。支持向量机是数学规划在数据挖掘领域的一个重要应用，是由VaDnik等人根据统计理论提出的一种新的机器学习方法。本文主要研究了不均衡支持向量机中参数的优化选取问题。支持向量机在各行各业中的应用已经取得了良好的效果；支持向量机的参数选取是支持向量机研究中的一类重要问题，参数选取的不同，对支持向量机的泛化性能影响很大；不均衡支持向量机的参数优化选取的研究较少，本文针对不均衡问题，建立了参数选取的模型，设计了算法，并进行了数值实验。本文给出了不均衡支持向量机的两个参数选取模型。首先针对不均衡问题的数据上特殊性，摒弃传统的性能评价指标，给出了一个适合不均衡问题的F-指标；通过最小化F-指标来建立优化参数的模型，并用SVMlight软件包求解。数值实验结果表明算法的有效性。另外，建立了一个具有光滑目标函数的MPEC参数选取模型。该模型是一个具有光滑目标函数的且带有互补约束的非线性规划问题，并在Lingo中编写程序进行数值实验，初步证明了该模型的有效性。

论文目录

• 摘要
• Abstract
• 引言
• 1 数据挖掘
• 1.1 数据挖掘介绍
• 1.1.1 数据挖掘的起源
• 1.1.2 数据挖掘的概念
• 1.2 数据挖掘的功能
• 1.3 数据挖掘的未来研究方向及热点
• 1.3.1 数据挖掘的未来研究方向
• 1.3.2 数据挖掘的热点
• 2 支持向量机
• 2.1 支持向量机的理论基础
• 2.1.1 机器学习的基本问题
• 2.1.2 统计学习理论简介
• 2.1.3 结构风险最小化
• 2.1.4 Karush-Kuhn-Tucker条件
• 2.2 支持向量机
• 2.2.1 支持向量机的基本思想
• 2.2.2 支持向量机模型
• 2.3 支持向量机算法
• 3 不均衡支持向量机的有效参数优化──F-指标
• 3.1 不均衡支持向量机的原模型
• 3.2 F-指标
• 3.3 模型的建立
• 3.4 数值实验
• 3.4.1 数据集
• 3.4.2 检验方法
• 3.4.3 实验结果
• 4 不均衡支持向量机参数选取的光滑化的MPEC模型
• 4.1 模型建立
• 4.2 数值实验
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢