论文摘要
神经网络的输出对参数扰动的敏感性是神经网络设计和实现中的一个重要问题。参数的扰动对网络的输出会有怎样的影响?如何度量神经网络对参数扰动的敏感程度?本文着重计算和分析了一种前馈神经网络——Madaline对于输入和权扰动的敏感性。 基于Madaline的结构特点,本文采用自底向上的方法计算Madaline的敏感性。首先,我们研究神经元——Adaline的敏感性。在此基础上,逐层计算Adaline的敏感性,最后输出层的Adaline的敏感性就是整个Madaline的敏感性。 敏感性在本文中定义为网络输出由于其参数的扰动而发生改变的数学期望。对于一个训练后的网络而言,它的网络结构和权都已给定,论文从两个不同的角度来计算它对于输入和权扰动的敏感性。第一个角度是要求敏感性计算的结果比较精确。为此,本文提出了能准确表示Madaline输入空间的超立方模型,然后给出了基于超立方模型的计算敏感性的算法。尽管算法有一定的复杂度,但是实验表明该算法得到结果比较精确。第二个角度要求给出复杂度较低的敏感性计算方法,然后尽可能地提高计算的精度。为此,本文提出了概率模型,并在概率模型基础上给出了敏感性计算方法。基于概率模型的敏感性计算方法不仅复杂度非常低,而且实验表明,当输入维数较大时,计算的精度也可以满足要求。接着,又用概率模型来研究训练前的Madaline对于输入和权扰动的敏感性,此时Madaline的权尚未确定,研究目标是分析整个一类Madaline的共性。利用对训练前Madaline的敏感性研究的结果,文中还就Madaline网络结构参数对敏感性的影响进行了分析。这些分析的结果可以被用来指导Madaline网络的设计。 最后,本文指出了敏感性在神经网络领域的应用前景。
论文目录
相关论文文献
- [1].基于离散随机技术的Madaline敏感性近似计算研究[J]. 中国科学:信息科学 2011(02)
- [2].基于Madaline网络敏感性的主动学习算法研究[J]. 河海大学学报(自然科学版) 2014(03)
- [3].基于矩阵运算的单隐层Madaline网络批量学习[J]. 计算机应用 2012(12)
- [4].基于改进MRII的Madaline网络学习算法[J]. 计算机与现代化 2016(02)