基于跨领域的迁移学习算法研究

论文摘要

机器学习技术已经在许多知识工程技术领域包括分类、回归和聚类等取得了重大的成功。但是，许多机器学习技术只有在基于一个共同的假设的情况下才能取得很好的效果，那就是训练数据和测试数据来自于相同的分布和相同的特征空间。而在一般情况下，由于我们的训练数据和测试数据来自不同的领域，这样传统机器学习技术将不能取得很好的效果。如果能够利用一个领域的知识来帮助另外一个领域的学习，即跨领域的迁移学习，将会大大提高机器学习算法的效果。本文首先研究了迁移学习的分类及一些典型的迁移学习算法。再此基础上，提出了两种新的迁移学习算法：（1）提出了一种基于实例KMM匹配的参数迁移学习方法。首先利用KMM算法估计每个源领域实例的权重，然后利用得到的权重，把这些实例应用到基于参数的迁移学习方法中，得到的迁移学习效果要比单独从实例或是从参数出发的迁移学习方法都要好，特别是当目标领域的标记数据比较少时。（2）提出了一种基于KDA的半监督学习迁移算法。利用KDA可以把源领域的数据和目标领域的数据映射到一个相同的低维特征空间使得在一定程度上减小两个领域的数据的分布差异，然后在这个特征空间中利用本文改进的Co-training进行外领域数据的权重更新并得到两个学习器进行学习分类。采用了文档分类领域两著名的数据Reuters221578和20Newsgroup进行实验，实验结果表明本文的迁移学习方法可以获得更好的学习性能。

论文目录

• 摘要
• Abstract
• 插图索引
• 附表索引
• 第1章 绪论
• 1.1 课题的研究目的与意义
• 1.2 迁移学习的历史与发展
• 1.3 本文的主要工作及创新点
• 1.4 本文的组织结构
• 第2章 机器学习基本算法
• 2.1 决策树算法
• 2.2 神经网络学习
• 2.2.1 感知器
• 2.2.2 反向传播算法
• 2.3 贝叶斯学习
• 2.4 K-近邻
• 2.5 支持向量机
• 2.5.1 经验风险最小化原则（ERM）
• 2.5.2 最优分类超平面
• 2.5.3 构造支持向量机
• 2.6 本章小结
• 第3章 迁移学习的分类及方法
• 3.1 迁移学习的分类
• 3.2 迁移学习的方法
• 3.3 迁移学习的研究现状及典型算法
• 3.3.1 归纳迁移学习
• 3.3.2 直推式迁移学习
• 3.3.3 无监督迁移学习
• 3.4 本章小结
• 第4章 基于 KMM 匹配的参数迁移学习算法
• 4.1 参数迁移算法
• 4.2 KMM 算法
• 4.3 基于 KMM 的参数迁移算法
• 4.3.1 参数迁移回归
• 4.3.2 本章算法描述
• 4.3.3 风险估计
• 4.4 实验及仿真结果
• 4.5 本章小结
• 第5章 一种基于 KDA 的半监督学习迁移算法
• 5.1 KDA 算法
• 5.2 改进的半监督学习迁移算法
• 5.2.1 半监督学习
• 5.2.2 Co-training 算法
• 5.2.3 改进的 Co-training 方法
• 5.3 本章算法描述
• 5.4 实验及仿真结果
• 5.6 本章小结
• 结论
• 参考文献
• 致谢
• 附录 A 攻读学位期间所发表的学术论文