支持向量机和非负矩阵分解理论方法的应用

论文摘要

支持向量机（Support Vector Machine, SVM）最初于20世纪90年代由Vapnik提出,它采用和传统方法不同的统计学习理论（SLT）为基础,是借助最优化方法解决机器学习问题的一种数据挖掘新工具。近年来随着研究的不断深入,其理论研究和实际应用都取得了突破性进展,尤其对维数灾难和过学习等传统方法较难解决的问题表现出了较大的优势,并非常成功的处理了回归和模式识别等诸多问题。目前,SVM已成为国际上机器学习领域研究的热点。非负矩阵分解（Non-negative Matrix Factorization, NMF）理论由D.D.Lee和H.S.Seung于1999年在《Nature》上首次提出,它提取图像的局部特征,更加符合心理学和生理学对事物的直观理解,由于其非负性的约束,也使得非负矩阵分解不同于以往的矩阵分解,它克服了传统矩阵分解的不足,使分解后的所有分量均为非负值,也就是要求纯加性的描述,并且实现了非线性的维数约减,在提出之始就引起了国内外学者的广泛关注。非负矩阵分解最初成功应用在人脸识别方面,近些年来已涉及到信号处理,生物医学工程,模式识别,计算机视觉,网络安全等众多研究领域。本文主要围绕SVM和NMF相关理论展开,主要工作有如下两个部分:1.首次使用基于正态分布概率的π型隶属度函数来计算模糊支持向量机（FSVM）样本点的隶属值,根据正态分布的特性,在考虑数据分布规律的同时求得数据点的隶属值,使求得的数据能够更加准确的反应样本的分布特点,提高了分类的准确率。2.首次将非负矩阵分解（NMF）方法和全局的非线性降维方法Isomap相结合,并应用到图像检索实验中。使用NMF提取图像的局部特征,在一定程度上勾勒出了相关图像在基矩阵所代表空间上的分布,使用Isomap方法降维,不仅使高维数据在低维空间变得可视化,而且能发现数据的内在结构和相关性,通过实验证明了新算法的准确性和高效性。

论文目录

• 摘要
• Abstract
• 第一部分 支持向量机SVM
• 1 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 支持向量机的应用
• 2 支持向量机模型
• 2.1 相关知识
• 2.1.1 统计学理论和VC 维
• 2.1.2 结构风险最小化原则
• 2.1.3 核函数
• 2.2 支持向量机模型推导
• 2.3 序列最小最优化算法
• 2.3.1 SMO 概述
• 2.3.2 SMO 两个变量的最优化问题解析解
• 2.3.3 SMO 两个训练点的选取
• 2.3.4 一次成功优化后的更新
• 2.4 停机准则
• 3 结合正态分布概率的FSVM
• 3.1 引言
• 3.2 FSVM 基本理论
• 3.3 基于正态分布概率的FSVM
• 3.3.1 基于正态分布概率的FSVM 模型
• 3.3.2 π型隶属度函数
• 3.4 实验设计
• 3.5 小结
• 第二部分 非负矩阵分解NMF
• 1 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 NMF 研究趋势和有待解决的问题
• 2 非负矩阵分解NMF
• 2.1 NMF 数学模型
• 2.1.1 最原始的NMF
• 2.1.2 NMF 的几种变体
• 3 NMF 和Isomap 相结合的图像检索新方法
• 3.1 引言
• 3.2 非线性降维方法Isomap
• 3.3 NMF 和Isomap 相结合的新方法
• 3.4 实验设计
• 3.5 小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的学术论文情况
• 致谢