基于协同进化的RBFNN学习研究

论文摘要

从20世纪80年代神经网络的研究再次复苏并形成热点以来,发展非常迅速。理论研究包括计算能力、对任意连续映射的逼近能力、学习理论等取得了丰硕的成果,其应用已迅速扩展到经济与企业管理、金融工程、模式识别、医疗诊断及众多数据挖掘领域。其中较为常用的是径向基函数神经网络(Radial Basis Function Neural Network,RBFNN),具有结构简单、泛化能力强和收敛速度快等特点。本文结合数据挖掘和机器学习中的分类任务,针对RBFNN学习亟需解决的关键问题,应用协同进化算法进行了深入系统地研究。主要研究内容包括:(1)介绍了神经网络学习的统计性能和RBFNN基本原理,评述了相关研究进展和典型RBFNN中心确定算法。概括了协同进化算法理论基础、整体框架以及发展现状。(2)提出了基于合作型协同进化的RBFNN算法。在标准网络结构中加入一个聚类层,对初始隐节点聚类,把性质相似的隐节点聚集成隐节点群,以聚类后的隐节点群作为子种群进行协同进化操作。各子种群间相互作用、相互影响。实验结果表明,该算法能够在一定程度上克服用传统优化算法进行网络训练耗时长的不足,且构建的RBFNN具有较小的网络规模,较强的泛化能力。(3)提出了基于协同覆盖的EBFNN算法。该算法把隐层剥离出来,直接由覆盖的情况确定分类结果,从而较好地增强EBFNN可理解性,同时省去标准网络中隐层到输出层权值的求取,简化了网络结构;通过协同进化算法与启发式算法的局部搜索的有效结合,采用启发式搜索自动增减隐节点个数,进一步改进网络结构。实验结果表明,该算法在初始隐节点在样本中随机选择的前提下,能够充分利用EBFNN覆盖域特点,达到较好的样本覆盖效果以及分类结果。(4)提出了带有特征选择的双种群RBFNN分类算法。将输入向量的特征选择和RBFNN优化过程协同进行,一并获得较优的网络结构和约减的输入向量维数,有效降低特征空间的维数,利用较小的网络结构获得较高的分类精度。实验结果表明,该算法对于大规模高维数据可以选择出切实有效的特征属性,避免复杂网络结构的生成,且算法快速有效,具有较强的复杂样本分类能力。(5)提出了多种群协同进化神经网络集成算法。将神经网络集成和协同进化算法相结合,每个个体神经网络对应于协同进化中的一个子种群,可保证每个个体网络自身进化和个体网络之间相互影响相结合;然后根据RBFNN特点,借鉴多数投票方法和最大值决定方法,对结论生成方式进行改进。实验结果表明,该算法优于目前常用的一些神经网络集成算法。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题背景与研究意义
• 1.2 神经网络学习的统计性能
• 1.2.1 经验风险最小化学习
• 1.2.2 结构风险最小化学习
• 1.3 RBFNN 算法研究现状
• 1.4 RBFNN 学习存在的问题
• 1.5 文章结构安排及创新点
• 第二章 RBFNN 和协同进化算法理论基础
• 2.1 RBFNN 基本原理
• 2.1.1 RBF 与插值问题
• 2.1.2 RBFNN 模型
• 2.1.3 RBFNN 中心确定算法
• 2.1.4 构造型神经网络设计方法
• 2.2 基于进化算法的神经网络学习
• 2.2.1 神经元的进化
• 2.2.2 连接权的进化
• 2.2.3 结构进化
• 2.2.4 神经网络学习算法与进化算法相结合
• 2.3 协同进化算法
• 2.3.1 协同进化算法理论基础
• 2.3.2 协同进化算法整体框架
• 2.3.3 协同进化算法的发展现状
• 2.4 本章小结
• 第三章 基于合作型协同进化RBFNN 分类算法
• 3.1 相关研究
• 3.2 合作型协同进化算法（Co-CEA）
• 3.3 基于合作型协同进化的RBFNN 分类算法
• 3.3.1 编码
• 3.3.2 初始化
• 3.3.3 个体适应值评价与选择
• 3.3.4 交叉操作
• 3.3.5 变异操作
• 3.3.6 算法整体步骤
• 3.4 实验测试
• 3.4.1 实验1
• 3.4.2 实验2
• 3.5 结束语
• 第四章 基于协同覆盖的EBFNN 分类算法
• 4.1 相关研究
• 4.2 EBFNN 和神经元领域覆盖
• 4.2.1 EBFNN 模型
• 4.2.2 神经元领域覆盖
• 4.3 基于协同覆盖的EBFNN 算法设计
• 4.3.1 基于协同进化算法确定EBFNN 结构
• 4.3.2 EBFNN 结构启发式微调
• 4.3.3 算法整体步骤
• 4.4 实验测试
• 4.4.1 实验1
• 4.4.2 实验2
• 4.4.3 实验3
• 4.5 本章小结
• 第五章 带有特征选择的双种群RBFNN 分类算法
• 5.1 相关研究
• 5.2 特征选择通用模型
• 5.3 带有特征选择的双种群协同进化算法
• 5.3.1 编码
• 5.3.2 初始化
• 5.3.3 个体适应值评价与选择
• 5.3.4 交叉操作
• 5.3.5 变异操作
• 5.3.6 算法整体步骤
• 5.4 实验测试
• 5.4.1 实验1
• 5.4.2 实验2
• 5.5 本章小结
• 第六章 多种群协同进化RBFNN 集成算法
• 6.1 相关研究
• 6.2 集成学习算法分类及应用
• 6.3 神经网络集成理论基础
• 6.4 多种群协同进化RBFNN 集成算法
• 6.4.1 编码
• 6.4.2 初始化
• 6.4.3 个体评价与选择
• 6.4.4 交叉操作
• 6.4.5 变异操作
• 6.4.6 算法整体步骤
• 6.5 实验测试
• 6.5.1 实验1
• 6.5.2 实验2
• 6.5.3 实验3
• 6.6 MCNNE 在商业数据集的应用
• 6.7 本章小结
• 第七章 总结与展望
• 7.1 论文主要工作和创新性
• 7.2 今后研究工作展望
• 参考文献
• 发表论文和科研情况说明
• 致谢