二阶对角递归神经网络的算法研究及应用

论文摘要

递归神经网络学习算法一直是神经网络方向研究的热点,并且其应用也引起了科研爱好者的广泛关注。动态递归神经网络由于内部有自反馈,表现出很强的动态映射能力。目前训练二阶对角递归神经网络多采用DBP算法,本文针对该算法中的辨识精度和收敛速度等问题做进一步的深入研究和探讨。首先,详细地介绍了递归神经网络结构,并且给出神经网络系统辨识的基本原理和网络辨识模型。其次,针对训练二阶对角递归神经网络采用的梯度搜索算法中存在的问题,提出改进的梯度下降学习算法,并且给出了这种改进算法的收敛性证明。然后,给出训练二阶对角递归神经网络的三种算法：DBP算法、改进DBP算法和RPROP算法和实现步骤,并将三种算法训练后的二阶对角递归神经网络用于非线性系统辨识,仿真结果表明：基于DBP算法的辨识精度不够理想且收敛速度慢,针对该算法存在的问题,采用了改进的DBP算法,辨识效果好于DBP算法；但是DBP算法和改进的DBP算法受梯度大小的影响较大。最后,首次将RPROP算法引入用于训练二阶对角递归神经网络的权值,仿真结果表明：将RPROP算法与改进的DBP算法和DBP算法相比,RPROP算法的非线性系统辨识精度和收敛速度都要优于DBP算法和改进的DBP算法。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 引言
• 1.2 本课题研究的背景和意义
• 1.3 二阶对角递归神经网络的算法研究
• 1.3.1 递归神经网络的算法研究
• 1.3.2 二阶对角递归神经网络的算法研究
• 1.4 本文的研究内容和结构
• 第2章 递归神经网络的结构
• 2.1 引言
• 2.2 全局反馈递归神经网络
• 2.2.1 Hopfield网络
• 2.2.2 NARX网络和ARX网络
• 2.2.3 Jordon网络
• 2.3 前向递归神经网络
• 2.3.1 局部连接前向递归神经网络
• 2.3.2 全连接前向递归神经网
• 2.4 二阶对角递归神经网络（SDRNN）
• 2.4.1 SDRNN网络的数学模型
• 2.4.2 SDRNN网络的学习过程
• 2.5 混合型递归神经网络
• 2.6 本章小结
• 第3章 基于神经网络的系统辨识原理
• 3.1 系统辨识
• 3.1.1 系统辨识简介
• 3.1.2 系统辨识的定义
• 3.2 神经网络系统辨识的特点
• 3.3 神经网络辨识的基本原理
• 3.3.1 神经网络辨识基本原理
• 3.3.2 神经网络辨识器分类
• 3.4 神经网络非线性系统辨识的模型及结构
• 3.5 本章小结
• 第4章 SDRNN梯度学习算法的收敛性
• 4.1 引言
• 4.2 SDRNN的梯度学习算法
• 4.2.1 最速下降法
• 4.2.2 SDRNN网络改进的学习算法
• 4.3 SDRNN梯度学习算法的收敛性
• 4.3.1 已有的一些主要收敛性结果及引理
• 4.3.2 SDRNN改进梯度学习算法的收敛性
• 4.4 本章小结
• 第5章 基于SDRNN网络的非线性系统辨识
• 5.1 SDRNN网络非线性系统辨识的基本原理
• 5.2 基于DBP算法的SDRNN非线性系统辨识
• 5.2.1 DBP算法
• 5.2.2 改进的DBP算法
• 5.2.3 基于DBP算法和改进的DBP算法的非线性系统辨识
• 5.3 基于RPROP算法的SDRNN非线性系统辨识
• 5.3.1 RPROP算法的基本原理
• 5.3.2 RPROP算法实现步骤
• 5.3.3 RPROP算法的非线性系统辨识的实施步骤
• 5.3.4 RPROP算法的非线性系统辨识的仿真研究
• 5.3.5 RPROP算法与改进的DBP算法的比较
• 5.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢