提高神经网络的泛化能力是神经网络设计与实现的基本问题之一。人们在利用神经网络解决分类和回归问题时,通常采取具体问题具体分析的方式,通过大量费力耗时的实验摸索,确定出合适的神经网络模型、算法以及参数设置。如何避开网络的参数配置问题,从另一个角度来提高神经网络的泛化能力,具有显著的意义。集成学习,为上述问题的解决提供了一个可行的方案。使用这种方法,可以通过训练多个神经网络并将其结果进行集成,来提高学习系统的泛化能力。本文的主要工作如下:(1)从神经网络敏感性的角度来研究集成学习。当前,大多数的集成学习是通过扰动数据集和调整神经网络的结构来获得个体网络之间的差异,从而集成网络。我们以集成中个体网络输出敏感性的差异为基础,提出了三种测量差异度的尺度和基于此的四种测量方法来选择个体网络,构造集成。实验表明基于敏感性的集成可以保持甚至提高集成的泛化能力同时降低集成中需要的个体网络的个数。(2)从概率的角度来研究集成学习中个体网络的多样性与集成准确率的关系。我们提出了一种基于错误层次的多样性尺度并与十种已知的尺度做了比较。实验表明集成中个体的多样性与集成的准确率之间并非简单的线性关系,当前该领域的研究工作仍有很多的不足,对此我们给出了分析和解释,并对今后的工作重点和方向给出了我们的看法。
本文来源: https://www.lw50.cn/article/0ab00f812a0e5f1868c7b54e.html