基于增强学习的无人车辆智能决策方法研究

论文摘要

近年来随着车辆在世界范围内的普及,在给人们的生活带来方便的同时,交通事故的频发也随之成为一个亟需解决的问题,辅助驾驶系统的研究需求迫在眉睫。高速公路作为重特大交通事故的频发地,建立基于高速公路环境的驾驶辅助系统意义重大,由于车辆和环境模型的复杂性以及环境的未知性,在先验知识较少的情况下,可以依据环境信息得出正确的决策的自主车辆成为当前研究的热点。本文研究了基于增强学习的车辆智能驾驶决策方法,重点针对车辆驾驶行为的多目标决策问题进行了研究,并且探讨了驾驶行为决策系统与车辆运动控制性能优化的关系,取得了如下成果:1、在HQ3实车模型的基础上,建立了高速公路环境模型,搭建了仿真平台。通过仿真平台可以实时模拟高速公路条件下的车流环境,为了增加系统的适用性,在系统中还依据实际驾驶情形加入了一定的不确定性,为车辆智能驾驶决策的仿真以及后续其他相关研究做好了准备。2、针对车辆智能驾驶的实际问题,提出了两种基于增强学习的车辆智能驾驶方法,其中包括基于Q学习的车辆智能驾驶方法和基于最小二乘策略迭代（LSPI）的车辆智能驾驶方法,通过在仿真平台上的模拟,对这2种方法进行了验证,表明了方法的有效性。3、针对车辆驾驶性能的多目标问题,提出了基于LSPI的多目标增强学习（MORL）算法,并且应用于车辆智能驾驶决策问题中。通过在仿真平台上的模拟,验证了方法的适用性。同时,在不需要重新学习的情况下,简单改变决策系统中的决策部分,就可以得到针对不同偏好的决策,提高了方法的实用性。4、结合14自由度HQ3自主车动力学模型,设计了基于LSPI-PD的车辆侧向控制优化算法,以改善车辆的侧向跟踪性能。在侧向运动控制性能优化的基础上,研究了结合车辆运动控制性能优化的驾驶行为决策,通过仿真结果分析,显示了侧向运动控制器的学习优化能够提高驾驶行为决策的适应性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 车辆智能驾驶研究现状
• 1.2.1 车辆智能驾驶系统国外研究现状
• 1.2.2 车辆智能驾驶系统国内研究现状
• 1.3 驾驶行为决策和多目标增强学习研究现状
• 1.4 论文结构安排
• 第二章 基于单目标RL的车辆智能驾驶决策
• 2.1 车辆模型和环境模型
• 2.1.1 车辆系统模型
• 2.1.2 道路模型
• 2.1.3 环境模型
• 2.2 基于Q学习的车辆智能驾驶决策
• 2.2.1 控制器的选择和驾驶行为分析
• 2.2.2 驾驶行为的马尔可夫决策过程（MDP）建模
• 2.2.2.1 MDP状态设计
• 2.2.2.2 MDP动作设计
• 2.2.2.3 MDP回报设计
• 2.2.3 仿真结果分析
• 2.2.3.1 车辆智能决策中的超车决策
• 2.2.3.2 车辆智能决策中的换道决策
• 2.3 基于LSPI的车辆智能驾驶决策
• 2.3.1 LSPI算法介绍
• 2.3.2 基于LSPI的车辆智能驾驶决策
• 2.3.3 仿真结果分析
• 2.3.3.1 在通常情况下的车辆智能驾驶仿真
• 2.3.3.2 在复杂情况下的车辆智能驾驶仿真
• 2.3.3.3 LSPI迭代过程中基函数系数w的改进
• 2.3.3.4 LSPI方法和Q学习方法结果的比较
• 2.4 本章小结
• 第三章 基于多目标增强学习的智能驾驶决策
• 3.1 基于LSPI的多目标增强学习（MORL）方法
• 3.1.1 MORL方法基本介绍
• 3.1.2 基于LSPI的MORL算法
• 3.2 基于LSPI-MORL的智能驾驶决策
• 3.2.1 驾驶行为的多目标回报函数设计
• 3.2.2 仿真结果分析
• 3.2.2.1 在通常情况下的车辆智能驾驶仿真
• 3.2.2.2 在复杂情况下的车辆智能驾驶仿真
• 3.2.2.3 多种增强学习方法的仿真比较
• 3.2.2.4 不同偏好下的多目标智能驾驶决策
• 3.3 本章小结
• 第四章 结合运动控制性能优化的驾驶行为决策
• 4.1 基于LSPI-PD的车辆侧向控制优化算法
• 4.2 车辆的侧向跟踪控制仿真
• 4.2.1 车辆转向系统模型
• 4.2.2 直线侧向跟踪的优化控制仿真
• 4.2.3 曲线侧向跟踪的优化控制仿真
• 4.3 基于侧向运动控制性能优化的驾驶行为决策
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 工作总结
• 5.2 工作展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果