神经网络学习算法研究

论文摘要

随着神经网络学科又一次研究高潮的到来,神经网络已广泛应用与科学计算,模式分类,模式提取,金融行业,国防工业,航空行业,智能控制等等。神经网络不但具备逼近任何非线性函数能力,而且网络的泛化能力很强,从而达到一种函数映射关系。正因为神经网络的以上优点,才应用十分广泛。神经网络为建立模型提供一种很好的方法。尤其为对于复杂的,不确定性,信息量很少系统,利用神经网络能建立输入与输出的对应关系,满足相应功能,使系统设计复杂度大大减小。学习算法是神经网络中十分重要的内容,神经网络的训练过程本质上是一个优化问题,目前利用的技术是最优化理论中技术。梯度下降法和改进的梯度下降法,是主要的训练算法。这种算法存在训练时间长,权值初始化问题,不具备全局寻优能力,样本的遗忘等等。这些问题主要是学习算法所导致的。如果能找到一个合适训练算法,以上问题都能迎刃而解。根据“没有免费午餐定理”,则需要通过增加训练时间复杂度和空间复杂度来,达到要求。对于复杂样本和复杂系统进行训练,通常需要大量的时间,随着网络复杂,所需要的训练时间急剧上升,而且训练效果远远达到要求。因为随着网络增加所需要计算的向量梯度和Hessian矩阵需要大量时间,于是本文提出将神经网络模块化思想。通过数学公式达到函数的映射,本文对傅立叶神经网络进行建模,并提出了一种更好的学习算法。本文通过对粒子群算法进行研究,提出了将粒子群算法和梯度下降法结合起来,即利用粒子群算法全局寻优思想,NW法初始化网络的权值和速度,利用正则化改变目标函数,利用LM算法对简单网络进行训练,利用共轭梯度法对复杂的网络进行训练,以及利用神经网络集成方法,提高神经网络泛化能力,以及对每个传递函数的系数进行优化。本文的工作和创新之处:(1)利用一种新的思想对神经网络进行训练,以及对神经网络如何实现和参数设置提出自己看法。(2)为反馈神经网络学习算法,提供了一种新的思路。

论文目录

• 中文摘要
• 英文摘要
• 第一章 绪论
• 1.1 神经网络的历史和综述
• 1.2 神经网络功能和特点
• 1.2.1 神经网络功能
• 1.2.2 神经网络特点
• 1.2.3 神经网络学习类型
• 1.2.4 神经网络缺点
• 1.3 本文研究内容与章节结构
• 第二章 神经网络基本概念
• 2.1 大脑结构和组织
• 2.2 神经元模型和传递函数
• 2.3 感知器模型
• 2.3.1 单层感知器模型
• 2.3.2 多层感知器模型
• 2.4 前馈神经网络
• 2.5 反馈神经网络
• 第三章 学习算法
• 3.1 梯度下降法
• 3.2 Levenberg-Marquardt 法
• 3.3 共轭梯度下降法
• 3.4 Matlab R2007b 实现算法
• 3.5 粒子群算法
• 3.5.1 基本粒子群算法
• 3.5.2 粒子群算法基本步骤
• 3.5.3 测试函数
• 第四章 模块化神经网络
• 4.1 研究背景
• 4.2 最优模块化神经网络结构
• 4.3 数据的分类和费歇尔判别法
• 4.4 仿真研究
• 第五章 傅立叶神经网络
• 5.1 傅立叶数学模型
• 5.2 傅立叶神经网络
• 5.2.1 傅立叶神经网络原理
• 5.2.2 傅立叶神经网络模型
• 5.3 傅立叶神经网络训练算法
• 5.5 实验分析
• 第六章 粒子群算法在神经网络训练中研究
• 6.1 粒子群算法在神经网络中研究
• 6.2 BP 网络逼近定理和传递函数
• 6.2.1 BP 网络逼近定理
• 6.2.2 目标函数
• 6.3 GPSO-BP 粒子群算法
• 6.4 实验分析
• 6.4.1 泛化能力比较
• 6.4.2 算法稳定性比较
• 第七章 结论
• 7.1 论文总结
• 7.2 未来工作
• 参考文献
• 附录
• 在学期间公开发表论文及著作情况
• 后记