GEP及SVM融合的分类技术研究

论文摘要

分类是数据挖掘领域中一个重要的研究点,作为对数据进行分析与研究的一个重要手段深受该领域学者的关注,并被应用到现实社会的各个领域。支持向量机是分类的一项新技术,由Vapnik领导的AT&T实验小组于上世纪九十年代中期提出。它是在统计学习理论的VC维理论与结构风险最小原理的基础上提出的。但是,由于现实分类任务中收集到的数据往往含有冗余和不相关特征,使分类的精度受到了影响。支持向量机作为目前分类的有效工具,同样也需要在分类之前进行数据的预处理,去除冗余特征和不相关特征;此外,目前,支持向量机还在惩罚参数C与核参数的确定上还没理论的方法,使得在实际应用中分类的效果没有得到最优。虽然上述两个问题已有不少学者进行了研究,也取得了有效的成绩,但目前还没有形成公认的方法。本文引入了基因表达式编程(Gene Expression Programming,GEP)作为特征选择和支持向量机参数优化的工具,取得了较好的效果。本文所做主要工作:1、对于特征选择问题,指出遗传算法编码方案的不足,提出了GEP算法的编码方案;在借鉴遗传算法进化策略的基础上,根据GEP编码方案的特点形成新的进化策略。2、对于支持向量机的参数优化问题,在认真分析参数对分类效果影响的前提下,结合GEP参数优化方法,提出了基于GEP的参数优化方案。3、针对上面提出的方法,以乳腺癌数据集为例,将特征选择和参数优化两个步骤联合起来,表明了支持向量机在分类任务中进行特征选择和参数优化的必要性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究历史与现状
• 1.3 本文所做主要工作
• 1.4 本文内容安排
• 第二章 GEP 与 SVM 相关知识介绍
• 2.1 GEP 起源与原理
• 2.2 GEP 的组织结构
• 2.3 SVM 的基本原理
• 2.3.1 当前空间可分的SVM
• 2.3.2 当前空间不可分的SVM
• 2.4 本章小结
• 第三章 基于 GEP 的特征选择设计
• 3.1 特征选择简介
• 3.2 特征选择常用方法
• 3.2.1 评价准则
• 3.2.2 搜索策略
• 3.3 GEP 进行特征选择的方法
• 3.3.1 编码设计
• 3.3.2 遗传操作
• 3.3.3 进化策略
• 3.3.4 适应度函数
• 3.3.5 算法流程
• 3.4 实验与讨论
• 3.4.1 实验
• 3.4.2 分析与讨论
• 3.5 本章小结
• 第四章 基于 GEP 的支持向量机参数优化
• 4.1 影响分类精度的分析
• 4.2 参数选择的常用方法
• 4.2.1 经验法
• 4.2.2 网格法
• 4.2.3 演化算法
• 4.3 GEP 优化SVM 参数的方法
• 4.3.1 GEP 优化参数的方案
• 4.3.2 染色体编码方案
• 4.3.3 基因算子
• 4.3.4 适应度函数
• 4.3.5 算法参数优化算法
• 4.4 实验
• 4.4.1 实验一
• 4.4.2 实验二
• 4.5 本章小结
• 第五章 总结与展望
• 5.1 主要工作总结
• 5.2 研究展望
• 参考文献
• 致谢
• 附录 A 攻读硕士学位期间所发表的论文
• 附录 B 本文作者攻读硕士学位期间主持和参加的科研项目