基于拟牛顿修正技术的两类修正梯度法

论文摘要

众所周知,共轭梯度法和拟牛顿法是求解无约束优化问题的两类非常重要且有效的梯度法.共轭梯度法的优点是其存储量小、计算简单,适合于求解大规模问题,而拟牛顿法的优点是其快速收敛性,并且被改善后能有效求解较大规模问题.因此对这两类方法的研究一直受到国内外许多学者的极大关注.在本文中,基于拟牛顿修正技术,对上述的两类梯度法进行了修正,提出了修正HS共轭梯度法及混合谱尺度BFGS方法.在第一章,我们首先简单介绍了最优化的一些基础知识、下降算法的结构以及共轭梯度法和拟牛顿法的研究现状.在第二章,基于拟牛顿法中MBFGS的修正技术,我们首先对HS共轭梯度法中搜索方向的计算公式进行了修正,其优点是所产生的搜索方向总是下降的,而且能结合更弱的线性搜索技术来计算步长.在较弱的条件下,结合非单调Armijo线性搜索技术我们证明了所提出的修正HS共轭梯度法具有全局收敛性,最后通过数值实验验证了所提出的算法的有效性.在第三章,基于已有的MBFGS方法、CBFGS方法及谱尺度技术,提出了一类混合谱尺度BFGS方法,其优点是能有效阻止拟牛顿矩阵趋于病态,而且拟牛顿矩阵总是被有效校正.在较弱的条件下,我们证明了所提出的混合谱尺度BFGS方法在Armijo线性搜索和Wolf-Powell线性搜索下是全局收敛的,最后通过数值实验比较了该算法与MBFGS算法、CBFGS算法及传统的BFGS算法的数值表现,数值结果表明所提出的方法具有较好的数值效果.

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 无约束最优化方法概述
• 1.1.1 最优化方法的结构
• 1.1.2 线性搜索
• 1.1.3 常用的梯度法
• 1.2 拟牛顿法的收敛理论及其修正方法
• 1.3 共轭梯度法的研究结果与现状
• 1.4 非单调线性搜索技术
• 1.5 本文的主要工作
• 1.6 符号表
• 第2章 结合非单调线性搜索的修正HS共轭梯度法
• 2.1 引言
• 2.2 算法的建立
• 2.2.1 非单调Armijo线性搜索
• 2.2.2 修正搜索方向
• 2.2.3 修正MHS算法
• 2.3 全局收敛性
• 2.4 数值实验
• 第3章 求解无约束优化问题的混合谱尺度BFGS方法
• 3.1 引言
• 3.2 三种常用的BFGS算法
• 3.3 算法
• 3.4 全局收敛性
• 3.5 数值实验
• 结论
• 参考文献
• 致谢