基于自适应学习速率的改进型BP算法研究

论文摘要

人工神经网络是智能计算发展的一个主流方向,目前已经广泛应用于模式识别、信号处理、知识工程、专家系统、机器控制等许多领域。BP网络由于结构简单、精度较高、易于编程、可操作性强、非线性映射能力强等优点而成为目前神经网络中应用最广泛的一种。由于标准BP算法基于最速梯度下降法,导致标准BP算法存在收敛速度缓慢,容易陷入局部极小,隐含层的层数及其节点的数量难以确定,每种输入模式的期望输出必须已知等缺点。为此,许多学者进行研究,并且提出了一些改进型BP算法,包括:附加动量法、自适应学习速率法、弹性BP算法、Levenberg-Marquardt法、高斯-牛顿法、共轭梯度法、BP-GA算法和模拟退火算法等。本文结合标准BP算法的原理,针对其存在的上述缺陷,提出了一种在附加动量法中添加学习速率自适应因子的新算法,并给出了新算法的数学公式。新算法基于附加动量法,因而可以避免陷入局部极小;加入了学习速率自适应因子,因而收敛效果好。为了验证新算法的改进效果,我们将新算法用于解决异或问题和函数逼近问题,并和标准BP算法及传统改进型BP算法进行了对比。通过软件仿真发现:与传统改进型BP算法相比,新算法不仅可以改善收敛效果,避免陷入局部极小值,而且具有较好的稳定性和鲁棒性。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 BP算法改进的历史和现状
• 1.3 BP算法的应用
• 1.4 本文的主要工作和结构安排
• 第二章 神经网络理论基础
• 2.1 人工神经元网络的基本原理
• 2.1.1 人工神经元的一般描述
• 2.1.2 人工神经元网络模型
• 2.1.3 神经元网络的学习过程
• 2.1.4 神经元网络的学习规则
• 2.1.5 神经元网络的工作过程
• 2.2 人工神经网络的特性
• 2.3 人工神经网络的分类
• 2.4 人工神经网络的主要学习算法
• 2.5 本章小结
• 第三章 BP网络及其算法
• 3.1 BP网络的拓扑结构
• 3.2 BP网络的学习过程
• 3.3 BP神经元原理
• 3.4 BP算法原理
• 3.4.1 正向传播
• 3.4.2 反向传播
• 3.4.3 网络的训练过程
• 3.5 BP网络的设计
• 3.5.1 网络的层数
• 3.5.2 各层节点数
• 3.5.3 初始权值
• 3.5.4 学习速率
• 3.5.5 期望误差
• 3.5.6 传递函数
• 3.5.7 训练方法
• 3.5.8 训练数据的处理
• 3.6 本章小结
• 第四章 改进型BP算法研究
• 4.1 BP算法的缺点和困难
• 4.2 BP算法的主要改进措施
• 4.2.1 附加动量法
• 4.2.2 自适应学习速率法
• 4.2.3 动量-自适应学习速率算法
• 4.2.4 弹性BP算法
• 4.2.5 基于数值优化的BP算法
• 4.3 新算法的提出
• 4.4 新算法的仿真与应用
• 4.4.1 新算法在异或问题中的应用
• 4.4.2 新算法在函数逼近中的应用
• 4.5 本章小结
• 第五章 总结和展望
• 5.1 本文的主要研究工作总结
• 5.2 进一步的研究和展望
• 参考文献
• 发表论文和科研情况说明
• 致谢