论文摘要
最近几十年,非线性科学得到了迅速的发展。对于实际问题中不能建立数学模型的非线性系统,可以通过实验或观测手段获得非线性时间序列。这些非线性时间序列中蕴含着丰富的系统动力学信息,抓住这些动力系统特性的方法之一是非线性时间序列建模。事实上,大网络建模过程中容易产生过适应。解决这一问题的传统方法是避免与已有数据过于吻合,但却得不到最优模型。本文探索了大网络有良好泛化能力的根源,以及如何适当选取模型避免过适应。主要研究内容包括以下几个方面:通过对比噪音数据和Ikeda微分方程时间序列训练前后权值分布图形,提出了一种新的模型选择标准,即权值分布标准,并与最小描述长度理论一起形成全面的模型选择准则。采用最小描述长度的方法,分析了混沌时间序列建模的最优模型。通过编写多个神经因子的循环程序,发现当大网络的权值分布图中有效神经因子个数和最小描述长度方法算得的最优值一致时,能够避免过适应并能抓到动力系统特性。把权值分布标准应用到人体生理、Chua电路等实际混沌时间序列,得出了权值分布标准可以探索大网络良好泛化能力的根源,并给出统计学解释。在周期数据建模中,对比了列文伯格—马夸尔特方法和贝叶斯规则化调整方法,并推导了列文伯格—马夸尔特算法输入层和隐层之间的权值函数与输入数据的非线性关系,从而可以根据权值分布图来判断输入数据是否有周期特性。本文提出的权值分布标准为大网络非线性时间序列建模提供了新方法。列文伯格—马夸尔特方法输入层与隐层之间权值函数和输入数据之间的非线性关系式,则为研究神经网络输入数据与权值分布之间的关系提供一定的理论依据。