基于输出误差曲线差异度计算的神经网络集成

论文摘要

神经网络集成通过训练多个神经网络并将其结论进行结合,从而达到大幅提升网络泛化能力的效果。然而神经网络具有“黑箱子”特性,绝大多数的研究从网络结构上寻找差异度,具有一定盲目性,并在一定程度上限制了神经网络集成的发展。因此本文提出了一种基于神经网络输出误差曲线的差异度定义方法,单纯的从各个网络的输出误差曲线出发,寻找网络间的差异度,避开了涉及神经网络内部结构的问题。本文借鉴了文本匹配中向量相似度的计算方法,并在原有差异度算法的基础上进行改进,把每个网络的输出误差曲线看作向量,从而进行差异度的计算。算法避免了传统算法探讨和研究网络内部结果的缺陷,而直接从网络的输出入手进行差异度的计算,直观且高效简单。由于原有算法仅仅考虑了网络之间的数值差异,而没有考虑到网络间的空间差异,因此,本文进而使用聚类算法对原有算法进行改进,使得算法同时考虑到网络间的数值和向量差异,从而取得了更好的效果。作为测试,选取了3组标准UCI数据集,对算法进行检验,并把实验结果与经典的bagging算法作为比较,通过实例验证了本方法的有效性及优越性,取得了很好的成果。PTA作为日常化工重要原料,对国民经济起着重要的决定因素,本文最后使用一组PTA工厂实际生产的数据对算法进行测试。通过建模测试,发现本文提出的算法在实际工业数据中依旧具有很高的稳定性和优越性,为神经网络集成发展提供了一种新思路。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题来源及意义
• 1.2 课题研究的主要内容
• 1.3 本文应用的主要技术
• 1.4 本文的章节结构
• 第二章 神经网络及神经网络集成
• 2.1 神经网络的发展
• 2.2 BP网络
• 2.3 神经网络集成
• 2.3.1 神经网络集成原理
• 2.3.2 神经网络集成主要研究方向
• 2.3.2.1 神经网络集成的机理研究
• 2.3.2.2 神经网络集成中个体生成方式的研究
• 2.3.2.3 结论生成方式的研究
• 2.4 选择性神经网络集成
• 2.4.1 个体网络的生成策略
• 2.4.2 选择性神经网络集成
• 2.4.3 结论生成方式
• 第三章 基于输出误差曲线差异度计算的神经网络集成
• 3.1 基于输出误差曲线的差异度计算--OECSEN（Output Error Curve BasedSelective Ensemble）
• 3.2 差异度的度量方法
• 3.2.1 距离差异度测量
• 3.2.2 差异函数差异度测量
• 3.3 基于余弦相似度的差异度计算公式
• 3.4 基于扩展Jaccard相似度的差异度计算公式
• 3.5 UCI标准数据测试
• 3.5.1 数据选取及网络生成
• 3.5.2 bagging算法
• 3.5.3 算法具体步骤
• 3.6 实际试验结果
• 3.6.1 余弦差异度算法试验结果
• 3.6.2 扩展Jaccard算法试验结果
• 3.7 本章小结
• 第四章 利用聚类算法改进后的差异度计算
• 4.1 聚类算法改进差异度计算—IOECSEN（Improved Output Error Curve basedSelective Ensemble）
• 4.1.1 聚类算法
• 4.1.2 使用聚类改进原算法的原因
• 4.1.3 k-means聚类算法
• 4.2 聚类改进差异度具体算法
• 4.3 实验结果
• 4.4 本章小结
• 第五章 应用实例
• 第六章 总结
• 6.1 研究总结
• 6.2 未来研究展望
• 参考文献
• 致谢
• 研究成果及发表的学术论文
• 作者和导师简介
• 硕士研究生学位论文答辩委员会决议书