泛函网络理论及其学习算法研究

泛函网络理论及其学习算法研究

论文摘要

泛函网络是近几年提出的一种新的对神经网络的有效推广,有些理论和应用方面的基础还不太健全,需要人们不断地提出更适合于所要解决问题的新的网络结构,完善基础理论,提出新的学习算法。本文试图从计算数学的角度出发,泛函网络作为数学的一种“可视化(Visual)”手段,把某些数学形式或结构归结为某种泛函网络形式,为传统的数值计算方法寻找一新的计算模型和方法。确切地讲,将泛函神经元作为基本部件,基于图论的观点,将复杂的泛函网络由若干个简单的泛函网络“拼合”而成,这种“拼合”不是简单的组装,而是依据待解问题的“先验知识”进行拼装;寻求建立所求问题的泛函网络拓扑结构神经计算系统;再用数值分析的方法,探讨其泛函网络的数学本质,包括泛函网络的插值机理、构造方法与逼近理论、新的数值计算方法及应用范围,为某些没有直观背景的数学形式或结构找到一定意义下的实际背景。本文创新性主要成果如下: 1.提出一种多维函数逼近的泛函网络逼近方法,设计了一类用于函数逼近的可分离泛函网络,给出了基于泛函网络的函数逼近学习算法,而泛函网络的参数通过解方程组得到,它们能逼近给定函数到预定的精度。仿真结果表明,这种逼近方法简单可行,具有较快的收敛速度和良好的逼近性能。 2.提出了一种回归泛函网络新模型,利用回归泛函网络既有前馈通路,又有反馈通路的特点,将网络中间层泛函神经元函数设置为可调多项式函数序列,提出了多项式函数型回归泛函网络新模型,它不但具有回归泛函网络的特点,而且具有较强的函数逼近能力。给出回归泛函网络稳定性的一种判据,把稳定点转化为某种函数的不动点:针对递归计算问题,提出了一多项式函数型回归泛函网络学习算法,并将该网络模型应用于多元多项式近似因式分解,其学习算法在多元多项式近似分解中体现了较强的优越性。通过算例分析表明,该算法十分有效,收敛速度快,计算精度高。所提出的多项式函数型回归泛函网络模型及学习算法对计算机代数的研究有重要指导意义。 3.设计出一类单输入单输出泛函网络与双输入单输出泛函网络作为构造层次泛函网络基本模型,提出了一种层次泛函网络新模型,给出了层次泛函网络构造方法和整体学习算法,而层次泛函网络的参数利用解方程组来进行逐层学习。以非线性代数方程组为例,指出人们熟知一些数学解题方法可以用层次泛函网络来表达,探讨了基于层次泛函网络求解非线性代数方程组学习算法实现的一些技术问题。相对传统方法,层次泛函网络更适合于具有层次结构的应用领域。计算机仿真结果表明,这种层次学习方法具有较快的收敛速度和良好的逼近性能。4.提出了一种基于泛函网络的多项式Euclidean计算新模型,给出一种基于泛函网络的多项式Euclidean新算法,而网络的泛函参数利用解线性方程组方法来完成。相对传统的算法,不但能够快速地获得所求多项式问题的精确解,而且可获得所求多项式问题的近似解。计算机仿真结果表明,该算法十分有效、可行,可看作是对传统的Euclidean算法的一种推广。该算法将在计算机数学、代数密码学等方面有着广泛地应用。 5.首先分别介绍了泛函网络概念和Fuzzy插值概念及性质,将泛函网络结构特性和Fuzzy插值映射有机地结合起来,提出了一类新型Fuzzy泛函网络模型,给出其Fuzzy泛函网络构造方法,采用构造性方法从理论上证明了Fuzzy泛函网络能够以任意精度逼近任意定义在有界闭集上的连续函数,这从理论上为Fuzzy泛函网络的使用提供了依据,具有明显的实际应用价值。 6.将实值泛函神经元推广到复值泛函神经元,再对复值泛函神经元的结构做了一个变形,提出了一种复值泛函网络新模型,给出了一种基于梯度下降法的复值可分离泛函网络学习算法。采用复分析的方法,利用单一泛函神经元模型,借助于正交边界和实步长函数概念求解复值XOR分类问题,理论上分析可看出,相比复值神经网络,复值泛函网络在解决分类问题具有很强的泛化能力。 7.针对序列泛函网络,提出了一种序列泛函网络学习算法,而网络的泛函参数利用递度下降法来进行学习.在此基础上,给出了9种典型的泛函方程求解序列泛函网络模型,给出了一种基于序列泛函网络学习算法的求解泛函方程方法,该方法十分有效,收敛速度快,计算精度高,泛化性能好,解决了传统的数值方法难以求解泛函方程这个问题,该方法可用于一般泛函方程求解。 8.泛函网络同神经网络一样,至今还没有一系统设计方法能够对给定问题设计出近似最优的结构。鉴于此,将整个泛函网络的设计分解为单个神经元的逐个设计:然后,在此框架下提出了基于遗传规划的泛函神经元的设计方法,该方法可实现对神经元函数类型的优化。仿真实验表明,本方法是有效可行的,能用较小的网络规模获得更满意的泛化特性。

论文目录

  • 摘要
  • ABSTRACT
  • 第一章 绪论
  • 1.1 引言
  • 1.2 新神经元模型
  • 1.3 新神经元模型建立依据
  • 1.3.1 基于生物神经系统所建立的神经元数学模型
  • 1.3.2 基于M-P模型推广所建立的神经元数学模型
  • 1.4 泛函网络
  • 1.5 泛函网络数值近似计算方法研究的重要性
  • 1.6 本文的主要工作
  • 1.7 本文的结构安排
  • 参考文献
  • 第二章 基于泛函网络的多维函数逼近理论与学习算法
  • 2.1 引言
  • 2.2 泛函网络拓扑结构
  • 2.3 函数逼近与泛函网络
  • 2.4 基于函数逼近的泛函网络
  • 2.5 多维函数的泛函网络逼近算法
  • 2.6 数值仿真结果及讨论
  • 2.7 本章小结
  • 参考文献
  • 第三章 多项式函数型回归泛函网络模型
  • 3.1 引言
  • 3.2 多项式函数型回归泛函网络(PFRFN)
  • 3.3 PFRFN网络展开训练算法
  • 3.4 基于 PFRFN网络的多元多项式近似分解理论
  • 3.4.1 参数调整学习算法
  • 3.4.2 基函数序列的确定方法
  • 3.5 算例及结果分析
  • 3.6 本章小结
  • 参考文献
  • 第四章 层次泛函网络整体学习算法
  • 4.1 引言
  • 4.2 两种基本泛函网络模型
  • 4.2.1 单输入单输出泛函网络模型
  • 4.2.2 双翰入单愉出泛函网络模型
  • 4.3 层次泛函网络模块化构造方法
  • 4.4 层次泛函网络整体学习算法
  • 4.5 层次泛函网络整体学习能力分析
  • 4.5.1 适合于非线性多项式方程组求解的层次泛函网络学习算法
  • 4.5.2 初始训练样本数据的确定
  • 4.5.3 基于泛函网络的一元多项式求根学习算法
  • 4.5.4 基于泛函网络的一元多项式求根学习算法理论基础
  • 4.6 仿真结果与分析
  • 4.7 讨论
  • 4.8 本章小结
  • 参考文献
  • 第五章 基干泛函网络的多项式 EUCLIDEAN算法
  • 5.1 引言
  • 5.2 多项式 EUCLIDEAN算法的泛函网络模型
  • 5.2.1 多项式带余除法的泛函网络模型
  • 5.2.2 Euclidean算法的泛函网络模型
  • 5.3 基于泛函网络的多项式 EUCLIDEAN学习算法
  • 5.4 算例与分析
  • 5.5 本章小结
  • 参考文献
  • 第六章 FUZZY插值及其 FUZZY泛函网络的构造
  • 6.1 引言
  • 6.2 FUZZY泛函网络
  • 6.2.1 Fuzzy泛函神经元
  • 6.3 FUZZY泛函网络的插值机理
  • 6.3.1 单输入单输出Fuzzy泛函网络模型
  • 6.3.2 双输入单输出Fuzzy泛函网络模型
  • 6.4 Fuzzy泛函网络的构造方法
  • 6.5 FUZZY泛函网络构造理论
  • 6.6 本章小结
  • 参考文献
  • 第七章 复值可分离泛函网络及其学习算法
  • 7.1 引言
  • 7.2 复值泛函网络
  • 7.3 复值泛函神经元
  • 7.4 复值可分离泛函网络学习算法
  • 7.5 数值例子与讨论
  • 7.5.1 XOR问题
  • 7.5.2 讨论
  • 7.6 本章小结
  • 参考文献
  • 第八章 序列泛函网络模型及其学习算法
  • 8.1 引言
  • 8.2 序列泛函网络
  • 8.3 序列泛函网络学习算法
  • 8.4 序列泛函网络用于求解泛函方程
  • 8.5 仿真结果及分析
  • 8.6 本章小结
  • 第九章 基于遗传规划实现泛函网络神经元函数类型优化
  • 9.1 引言
  • 9.2 遗传规划简介
  • 9.2.1 函数的构成及表示
  • 9.2.2 遗传操作
  • 9.3 基于GP的单个泛函神经元优化设计
  • 9.3.1 终止符集、函数(运算符)集定义
  • 9.3.2 目标函数、适应度函数的定义
  • 9.3.3 GP中泛函神经元个体的描述
  • 9.3.4 GP的进化策略
  • 9.4 仿真实验
  • 9.5 本章小结
  • 参考文献
  • 第十章 总结与展望
  • 10.1 论文工作总结
  • 10.2 展望和进一步工作
  • 攻读博士期间发表的主要论文
  • 攻读博士期间主持的科研项目
  • 致谢
  • 相关论文文献

    • [1].算法:一种新的权力形态[J]. 治理现代化研究 2020(01)
    • [2].算法决策规制——以算法“解释权”为中心[J]. 现代法学 2020(01)
    • [3].面向宏观基本图的多模式交通路网分区算法[J]. 工业工程 2020(01)
    • [4].算法中的道德物化及问题反思[J]. 大连理工大学学报(社会科学版) 2020(01)
    • [5].算法解释请求权及其权利范畴研究[J]. 甘肃政法学院学报 2020(01)
    • [6].算法新闻的公共性建构研究——基于行动者网络理论的视角[J]. 人民论坛·学术前沿 2020(01)
    • [7].算法的法律性质:言论、商业秘密还是正当程序?[J]. 比较法研究 2020(02)
    • [8].关键词批评视野中的算法文化及其阈限性[J]. 学习与实践 2020(02)
    • [9].掌控还是被掌控——大数据时代有关算法分发的忧患与反思[J]. 新媒体研究 2020(04)
    • [10].美国算法治理政策与实施进路[J]. 环球法律评论 2020(03)
    • [11].算法解释权:科技与法律的双重视角[J]. 苏州大学学报(哲学社会科学版) 2020(02)
    • [12].大数据算法决策的问责与对策研究[J]. 现代情报 2020(06)
    • [13].大数据时代算法歧视的风险防控和法律规制[J]. 河南牧业经济学院学报 2020(02)
    • [14].风险防范下算法的监管路径研究[J]. 审计观察 2019(01)
    • [15].模糊的算法伦理水平——基于传媒业269名算法工程师的实证研究[J]. 新闻大学 2020(05)
    • [16].算法推荐新闻对用户的影响及对策[J]. 新媒体研究 2020(10)
    • [17].如何加强对算法的治理[J]. 国家治理 2020(27)
    • [18].“后真相”背后的算法权力及其公法规制路径[J]. 行政法学研究 2020(04)
    • [19].算法规制的谱系[J]. 中国法学 2020(03)
    • [20].论算法排他权:破除算法偏见的路径选择[J]. 政治与法律 2020(08)
    • [21].政务算法与公共价值:内涵、意义与问题[J]. 国家治理 2020(32)
    • [22].算法的法律规制研究[J]. 上海商业 2020(09)
    • [23].蚁群算法在文字识别中的应用研究[J]. 信息与电脑(理论版) 2019(22)
    • [24].大数据聚类算法研究[J]. 无线互联科技 2018(04)
    • [25].RSA算法的改进研究[J]. 计算机与网络 2018(14)
    • [26].智能时代的新内容革命[J]. 国际新闻界 2018(06)
    • [27].改进的负载均衡RSA算法[J]. 电脑知识与技术 2018(25)
    • [28].基于深度学习的视觉跟踪算法研究综述[J]. 计算机科学 2017(S1)
    • [29].大数据算法的歧视本质[J]. 自然辩证法研究 2017(05)
    • [30].深度学习算法在智能协作机器人方面的应用[J]. 中国新通信 2017(21)

    标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

    泛函网络理论及其学习算法研究
    下载Doc文档

    猜你喜欢