基于进化算法的神经网络结构优化研究

论文摘要

神经网络和进化计算是计算智能的重要组成部分。神经网络结构的规模影响神经网络的学习能力与泛化能力。结构过小学习能力不够，结构过大泛化能力减弱。结构优化算法就是使神经网络能学习到一种合适的结构，在学习能力满足要求的同时其泛化能力保持最好。模拟生物进化的进化计算正是一种优良的寻优方式。本文研究的对象为函数逼近的BP神经网络结构。研究分三方面内容：神经网络学习算法的研究；函数复杂度的研究；进化算法优化神经网络结构的研究。首先分析了神经网络结构优化算法的各种方法。指出了用于函数逼近的BP神经网络的三种缺陷，并针这些固有的缺陷对LMBP算法进行神经网络结构优化进行了研究。通过改进LMBP算法，利用二次误差下降与梯度下降及利用误差变化规律分析网络结构的优化程度，自适应的增加隐层神经元或网络层次，从而得到一个合适的网络结构。第二部分研究是对逼近的函数其复杂度的研究。在改进的LMBP算法的大量仿真实验数据分析中发现函数的拐点越多则用于模拟它的神经网络结构越复杂。由此，本文提出了一种简单的复杂度估计方法，这种方法以经验数据为依据，根据样本对测量出的拐点数粗略估计神经网络的初始结构。第三部分研究了进化算法对神经网络结构的优化。在几种进化算法里，生物共生并行遗传算法的特点适合用于神经网络结构优化。将同一结构的不同个体看成一个子种群，不同结构的若干子种群看成一个大种群。子种群里进行选择、交叉、变异，子种群间进行信息交换，从而达到权值与结构同时进化的目的。基于这种思想设计了共生并行遗传算法，结合改进的LMBP算法进行了仿真实验，同时给出了仿真结果进行的分析，提出了进一步工作方向。

论文目录

• 摘要
• Abstract
• 目录
• CONTENTS
• 第一章 绪论
• 1.1 研究背景及选题意义
• 1.2 国内外相关领域的研究现状
• 1.2.1 神经网络结构优化方法的研究情况
• 1.2.2 生物进化计算优化神经网络结构的研究情况
• 1.3 本文研究的主要内容与创新
• 1.4 本文的组织
• 第二章 神经网络与进化理论基础
• 2.1 神经网络概述
• 2.1.1 神经网络的发展与应用
• 2.1.2 人工神经元模型
• 2.1.3 网络结构及工作方式
• 2.1.4 神经网络的学习方式
• 2.1.5 神经网络的学习算法
• 2.1.6 学习与自适应
• 2.2 模拟进化计算概述
• 2.2.1 模拟进化计算的一般框架
• 2.2.2 遗传算法介绍（GA）
• 2.2.3 进化策略（ES）介绍
• 第三章 复杂性度量策略下的神经网络结构优化研究
• 3.1 传统神经网络学习算法的特点与结构优化算法改进的必要
• 3.1.1 函数逼近的BP神经网络的结构复杂性和样本复杂性对神经网络泛化能力的影响
• 3.1.2 改进的必要性
• 3.2 改进之一:改进LMBP算法
• 3.2.1 LM算法介绍
• 3.2.2 对LMBP算法的改进
• 3.3 改进之二:样本复杂性的度量
• 3.3.1 样本复杂性度量的方式
• 3.3.2 样本复杂性度量的Fourier分析
• 3.4 复杂度预测后神经网络结构优化算法的流程图
• 3.5 实验仿真与结果分析
• 3.5.1 改进的LMBP算法仿真实验
• 3.5.2 复杂度测量的实验与仿真
• 3 6 小结
• 第四章 进化计算优化神经网络结构的研究
• 4.1 进化计算用于优化神经网络结构中要解决的几个问题
• 4.1.2 编码问题
• 4.1.2 交换问题
• 4.1.3 变异问题
• 4.1.4 适应度设计与网络优良程度检验的问题
• 4.2 共生并行遗传算法优化神经网络结构的设计
• 4.2.1 共生并行遗传算法的介绍
• 4.2.2 优化神经网络结构的共生并行遗传算法的描述
• 4.2.3 优化神经网络结构的共生并行遗传算法的框架
• 4.2.4 优化神经网络结构的共生并行遗传算法在MatLab上的实现
• 4.2.5 仿真实验分析
• 4.3 小结
• 总结与展望
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢