基于强化学习PID控制器的柴油机调速仿真研究

论文摘要

柴油机电控技术可以大大提高柴油机工作的可靠性，有效改善柴油机的经济性和排放性能，是当前柴油机技术发展的重要方向之一，而电控系统控制策略的选择是影响柴油机调速性能的关键。国内外现有的柴油机调速系统大多采用PID控制技术。该控制器有结构简单、可靠、稳定性高等优点，但也存在不适应负载、模型参数大范围变化，PID最优控制参数确定困难、及含非线性因素影响等不足。本文根据强化学习算法的特点，提出强化学习PID控制器的柴油机调速方法，设计了强化学习PID控制器模型，并开展了仿真研究；经过研究和对比柴油机不同类型模型的特点，并根据论文研究工作的要求，建立涡轮增压柴油机的平均值数学模型和电子调速系统的模型，针对建模过程中存在的问题，如压气机特性曲线，指示热效率曲线等给出了简单且实用的解决方法。根据所建立的柴油机电控调速系统模型，对强化学习PID控制器进行了数字仿真，结果表明：强化学习算法能够在线调整PID控制器中的参数，提高了调速系统的适应性和稳、动态调速控制精度。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 引言
• 1.2 柴油机数字式调速技术发展现状
• 1.3 柴油机转速控制方法
• 1.4 自适应 PID 控制方法
• 1.4.1 自适应 PID 控制器研究现状
• 1.4.2 强化学习 PID 控制器
• 1.5 本文的主要内容
• 第2章 PID 控制理论研究
• 2.1 引言
• 2.2 PID 控制原理
• 2.2.1 名词解释
• 2.2.2 PID 控制器
• 2.2.3 数字 PID 控制器
• 2.3 PID 参数的整定方法
• 2.4 本章小结
• 第3章 强化学习理论及算法
• 3.1 引言
• 3.2 强化学习的基本原理和模型
• 3.2.1 Markov 决策过程简述
• 3.2.2 强化学习策略中的探索与利用问题
• 3.2.3 输入状态空间的量化方法
• 3.3 强化学习的基本算法
• 3.3.1 Monte Carlo 算法
• 3.3.2 TD 算法
• 3.3.3 Q-学习
• 3.3.4 Sarsa 算法
• 3.3.5 经验强化型学习算法
• 3.4 本章小结
• 第4章 柴油机调速系统数学模型
• 4.1 引言
• 4.2 柴油机模型的选定
• 4.3 柴油机的模型建立
• 4.3.1 压气机的数学模型
• 4.3.2 涡轮数学模型
• 4.3.3 中冷器模型
• 4.3.4 柴油机本体模型
• 4.3.5 柴油机动力学模型
• 4.3.6 增压器的动力学模型
• 4.4 柴油机整体模型
• 4.5 本章小结
• 第5章 强化学习 PID 控制器在柴油机调速中的应用研究
• 5.1 引言
• 5.2 电控调速系统组成及工作原理
• 5.3 执行器模型
• 5.4 基于强化学习的 PID 控制器
• 5.5 控制系统的数字仿真
• 5.5.1 柴油机模型性能校验
• 5.5.2 基于强化学习算法的自适应 PID 控制器模型的仿真结果
• 5.6 本章小结
• 第6章 总结和展望
• 6.1 本文总结
• 6.2 研究展望
• 参考文献
• 致谢