高效预测的核学习方法

论文摘要

以学习理论解决数据分析问题,是近期统计学研究的趋势之一。问题规模与复杂性日增的现实,需要更具效率的学习方法。本篇博士学位论文在统计学习理论的框架下,应用核方法,提出几种新的学习思路,建立起一套简洁、高效的回归学习机,并成功地用于预测实践。与标准学习方法比较,新的设计思路,更具效率,能以低的计算代价取得满意的学习效果。论文围绕学习性能的改进与学习效率的提高两个主题分四个方面展开。文章首先考虑样本集上信息分布纵横两向上的不均匀性,构造了几种简洁的动态参数,并引入多元尺度因子,构造多元核。在统一的框架下考虑参数的改进、优化与特征提取,所得学习机MO-SVR简明、高效,改进了原标准学习机的学习性能,为学习机的优化设计提供了一条新思路,其性能为试验所肯定。减少学习问题规模是提高学习效率的一种直接途径。文章接下来应用局部风险最小化原则,导出了局部学习机的一般形式,并分析其理论收敛界。承MO-SVR的优化思想,利用快速计算的留一误差,由模式搜索PS算法实现参数的自动优化,构造出具体的优化局部学习机。为高效学习特别是大规模的学习问题提供了一条精简的设计思路,其有效性为试验所肯定。随之,文章从另一个角度提出直接简化DS策略,以极低的计算代价将当前先逼近后优化分步走的稀疏思路合二为一,直接在原问题空间上简化。具体开发了Cholesky分解算法与共轭梯度算法,保证DS策略整体上的高效、简洁。DS具有一定的创新性,在大规模学习问题中更具有直接的实践意义,试验肯定了算法性能与理论分析。提高学习效率的另一途径是改变学习方式。论文最后推广当前在线学习,得到更丰富的学习率下降模式,并在此启示下提出约束随机元方法LSMD。LSMD既有SMD的自适应调节能力,同时算法的稳定性能又有理论保证。论文还比较了在线学习的隐式更新与显式更新,导出了隐式更新的更紧的收敛界。将隐式更新技术与SMD结合的自适应算法AILK具有内在的稳定性,是一种极具挖掘潜力的学习方法。自适应在线方法为高效学习开辟了新思路,利用在线学习方式高效率的同时保证了满意的学习性能,其理论分析与算法性能得到实验的充分肯定。以学习理论解决数据分析问题必将给统计学带来新的活力,本论文在此方面做了有益的尝试。所得成果应用并不局限于预测,其构造思路与相关理论技术亦可推广到其他非核方法的学习领域。论文所做工作丰富了数据分析处理的理论方法,对统计实践具有一定的指导意义。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 问题背景与意义
• 1.2 本文工作及结构
• 第2章 学习理论中的核方法
• 2.1 统计学习理论
• 2.1.1 经验风险最小化
• 2.1.2 解不定积分方程
• 2.1.3 结构风险最小化
• 2.2 核方法
• 2.2.1 核与RKHS
• 2.2.2 正则化与表述定理
• 2.2.3 几种核学习机
• 第3章 优化的核回归机
• 3.1 引言
• 3.2 MO-SVR
• 3.2.1 参数改进
• 3.2.2 参数优化
• 3.2.3 特征选择
• 3.3 实证分析
• 3.3.1 GOVI数据集
• 3.3.2 Sunspot数据集
• 3.3.3 Mackey-Glass数据集
• 3.3.4 电力负荷数据集
• 3.4 小结
• 第4章 高效预测的局部核学习机
• 4.1 引言
• 4.2 局部核回归机
• 4.2.1 局部风险最小化
• 4.2.2 局部核回归
• 4.2.3 KNN-SVR
• 4.3 模型优化
• 4.3.1 留一法
• 4.3.2 PS算法
• 4.4 实证分析
• 4.4.1 试验设置
• 4.4.2 实验结果与分析
• 4.5 小结
• 第5章 高效预测的直接简化核学习机
• 5.1 引言
• 5.2 直接简化核学习机
• 5.2.1 实现DS的Cholesky分解算法
• 5.2.2 实现DS的共轭梯度算法
• 5.2.3 其他相关问题
• 5.3 非二次损失简化学习机
• 5.4 实证分析
• 5.4.1 试验设置
• 5.4.2 实验结果与分析
• 5.5 小结
• 第6章 高效预测的在线自适应核学习机
• 6.1 引言
• 6.2 在线核学习
• 6.2.1 在线学习的显式更新
• 6.2.2 在线学习的隐式更新
• 6.3 在线学习的SMD调节
• 6.3.1 SMD方法
• 6.3.2 基于SMD的学习率调节
• 6.3.3 隐式更新的SMD调节
• 6.4 在线学习的LSMD调节
• 6.4.1 推广的在线学习
• 6.4.2 基于LSMD的学习率调节
• 6.4.3 偏置项的自适应调节
• 6.5 实证分析
• 6.5.1 试验设置
• 6.5.2 在线学习的隐式更新
• 6.5.3 推广的在线学习
• 6.5.4 显式更新学习率的LSMD调节
• 6.5.5 隐式更新学习率的自适应调节
• 6.5.6 其他相关问题
• 6.6 小结
• 结论
• 参考文献
• 附录1 相关定理证明
• 致谢
• 攻读学位期间发表论文及参与课题