模糊支持张量机理论研究与应用

论文摘要

传统情况下,很多的机器学习算法都是基于向量空间的,数据都是处于一个多维的向量空间,学习算法的目标是寻找一个线性或者非线性函数用来对未知数据进行分类或者预测。然而,现实生活中的很多种情况,需要使用张量来表示数据:比如,一张图片可以看作一个二阶张量或者说是一个矩阵;同样,一段视频也可以看作为一个第三阶是时间轴的三阶张量。支持张量机（Support Tensor Machine,简称STM）是在支持向量机（Support Vector Machine,简称SVM）的基础上发展而来的,它以张量作为输入,通过学习得到张量空间的一个分类超平面,从而进行数据的分类和识别。但是支持张量机只能处理线性数据,对于线性不可分情况下的数据,很难得到很好的分类效果,而且对于两阶以上的张量它也不能处理。本文首先使STM理论能够处理非线性数据,其次使它不仅仅能够用来分类,而且让它也能像SVM一样用于函数回归,再次使它能够处理高阶的张量数据。具体的来说,本文主要包括以下几个方面的内容:1.本文提出了一种张量的核函数。它利用了核方法,通过一个非线性函数将原始张量数据映射到高维特征张量空间,然后在这个高维特征空间内使用线性分类器进行分类从而提高分类器的分类性能。这样我们就把核方法与支持张量机结合起来提出来用于两类分类的核支持张量机算法（Kernel Support Tensor Machine,简称KSTM）,并用实验验证了它具有比支持向量机更好的泛化性能。2.我们提出了针对于多类分类的模糊核支持张量机（Fuzzy Kernel Support Tensor Machine,简称FKSTM）。由于对支持向量机或支持张量机来说传统的多类分类方法会出现不可分区域。为了解决多类分类的这个问题,Shigeo Abe等人改进了传统的“一对一”和“一对多”多类分类方法就提出了“一对一”和“一对多”的模糊支持向量机。它们都是在传统SVM的基础上,利用决策函数再构造出隶属度函数来最终确定测试样本的类别,从而避免了不可分区域的出现。我们将核支持张量机也与“一对一”和“一对多”模糊多类分类方法结合,构造出了模糊核支持张量机。本文通过来自UCI的Iris数据集和Wine数据集进行了仿真实验,验证了新的算法在分类性能和泛化性能上得到了很好的提高。3.我们提出了核支持张量机回归（Kernel Support Tensor Regression,简称KSTR）算法。支持向量机不仅能用于分类,而且它还在函数回归上具有特别好的应用。本文使用了ε-不敏感损失函数和上面提出的张量核函数,构造了ε-不敏感损失核支持张量机回归算法。通过五种不同的数据集的回归预测实验结果,验证了核支持张量机在回归预测上的优越性能。4.我们提出了广义支持张量机算法（Generalized Support Tensor Machine,简称GSTM）。由于前面提出的核支持张量机算法只是局限于二阶张量,而GSTM可以处理三阶及其以上的张量数据,同样我们利用多种UCI数据集进行仿真实验并且与传统的支持向量机做对比验证了GSTM的分类性能。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景及其研究意义
• 1.1.1 机器学习的内容和发展
• 1.1.2 支持向量机和支持张量机算法概述
• 1.1.3 支持向量机和支持张量机的研究现状
• 1.1.4 支持向量机的应用
• 1.2 本文的研究工作
• 1.3 本文的研究内容安排
• 第二章 统计学习理论和支持向量机基本原理
• 2.1 引言
• 2.2 统计学习理论
• 2.2.1 学习模型
• 2.2.2 经验风险最小化原理
• 2.2.3 VC 维理论
• 2.2.4 推广性的界
• 2.2.5 结构风险最小化原则
• 2.3 支持向量机理论
• 2.3.1 线性SVM 和广义SVM
• 2.3.2 核函数的概念
• 2.3.3 非线性支持向量机
• 2.4 支持向量机回归预测理论 ε -不敏感损失支持向量机回归
• 2.4.1 常见的损失函数
• 2.4.2 ε -不敏感损失支持向量机回归算法
• 2.5 支持张量机理论
• 2.5.1 张量表示
• 2.5.2 支持张量机理论
• 2.5.3 收敛证明
• 2.6 本章小结
• 第三章 核支持张量机分类
• 3.1 引言
• 3.2 核方法的引入 张量核函数
• 3.3 两类核支持张量机
• 3.4 核支持张量机实验结果分析
• 3.5 本章小结
• 第四章 模糊核支持张量机
• 4.1 引言
• 4.2 传统多类SVM 分类方法
• 4.3 “一对多”模糊分类方法
• 4.4 “一对一”模糊分类方法
• 4.5 模糊核支持张量机多类分类实验结果分析
• 4.6 本章小结
• 第五章 核支持张量机回归
• 5.1 引言
• 5.2 核支持张量机回归算法 ε -不敏感损失核支持张量机回归
• 5.3 核支持张量机回归实验结果分析
• 5.4 本章小结
• 第六章 广义支持张量机
• 6.1 引言
• 6.2 广义支持张量机算法
• 6.3 实验结果及其分析
• 6.4 小结
• 第七章 总结与展望
• 7.1 总结
• 7.2 未来的研究
• 致谢
• 参考文献
• 附录 作者在攻读硕士学位期间发表的论文