基于敏感性的Madaline网络结构裁剪

论文摘要

在神经网络研究中，网络结构如何设计是一个至关重要的问题。对于给定的问题，为了找到一个适合的网络结构，目前一种常用的方法是把已训练好的大结构网络裁剪成小结构网络，同时要保留网络必需具备的性能。本文给出了基于神经元敏感性的神经网络结构裁剪方法，即从Madaline网络隐层上裁去那些最不重要的神经元Adaline，从而使得裁剪造成的性能损失尽可能少，并设法补偿损失。这个方法的新颖之处在于它建立了一个度量网络中神经元重要性的尺度，通过对网络中每个神经元的重要性进行度量，可以找出网络中重要性最小的神经元，然后尝试将其裁去。本文的Adaline重要性尺度是建立在Adaline敏感性尺度基础之上的。一个Adaline的敏感性是指对于它的所有可能输入，因输入扰动而导致它的输出出错的概率：而一个Adaline的重要性则定义为它的敏感性值乘以它与后一层上所有Adaline的连接权绝对值之和所得的乘积。基于敏感性计算，本文给出了一个Madaline网络结构的裁剪算法，它从一个给定的Madaline网络中反复裁剪隐层中重要性最小的节点并做一些适当的补偿计算操作，直到在给定的性能要求下再没有节点可以被裁掉为止。本文的实验结果很好地验证了这个方法的有效性。此外，本文还讨论了用敏感性来改进Madaline网络训练算法的尝试。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 选题依据及研究背景
• 1.2 研究现状
• 1.3 本文的主要工作
• 1.4 本文的贡献及意义
• 1.5 本文的组织
• 第二章 Madaline模型及符号
• 2.1 Adaline
• 2.2 Madaline
• 第三章 Adaline敏感性及重要性的定义及计算
• 3.1 Adaline敏感性介绍
• 3.1.1 Adaline敏感性定义
• 3.1.2 Adaline敏感性计算
• 3.2 重要性介绍
• 3.2.1 重要性定义
• 3.2.2 重要性尺度的阈值
• 第四章 裁剪算法实现与实验性验证
• 4.1 裁剪算法
• 4.2 MRII学习算法介绍
• 4.3 实验性验证
• 4.3.1 逻辑函数实现问题
• 4.3.2 分类问题
• 4.3.3 模拟问题
• 4.4 实验总结
• 第五章 探索基于敏感性对MRII算法的改进
• 5.1 MRII算法存在的缺陷
• 5.2 算法改进的方法和意义
• 5.3 算法改进的一些尝试
• 5.3.1 选择调权节点的度量法改进
• 5.3.2 调权算法的改进
• 5.3.3 样本输入处理方式的改进
• 5.4 实验结果分析
• 第六章 总结与展望
• 6.1 本文的总结
• 6.2 进一步的工作展望
• 参考文献
• 致谢
• 附录