多智能体Q学习在多AUV协调中的应用与仿真

论文摘要

AUV(Autonomous Underwater Vehicle,简称AUV)作为一种高技术手段,在海洋环境监测、海底资源调查、科学考察、危险环境作业和打捞救生等方面起到了至关重要的作用。随着执行任务的复杂性日益增加,单AUV在大范围内作业的时效性、鲁棒性和柔性等方面就表现出明显不足。需要多个AUV构成系统来共同完成任务,而多AUV的协调控制成为关键问题,本论文主要讨论了一种新的多AUV协调控制方法、系统设计及仿真。本文首先介绍了多AUV技术的发展动态以及课题研究的意义,然后根据多AUV协调控制系统的需要建立AUV运动模型、多智能体Q学习模型,在此基础上建立了面向任务的多AUV系统结构。对比分析了近几年的几种重要的多智能体强化算法,然后提出了一种新的多智能体Q学习算法,这种算法结构简单,能够大大简化状态空间,加快收敛速度。试验表明,本文提出的多智能体Q学习方法是有效的。然后对多智能体Q学习算法实现多AUV协调的系统进行了设计,用多个仿真实例说明了多智能体Q学习算法在多AUV系统中的应用,试验证明,此本文提出的多智能体Q学习协调算法在满足Nash均衡的同时,避免了研究多个均衡点同时存在的问题,收敛速度快并且非常有效。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第1章 绪论
• 1.1 引言
• 1.2 多AUV技术研究现状
• 1.3 多智能体技术
• 1.4 多智能体Q学习理论基础
• 1.5 研究内容及意义
• 第2章 AUV模型与多AUV系统结构
• 2.1 AUV建模
• 2.2 面向任务的多AUV系统结构
• 2.3 本章小结
• 第3章 多智能体Q学习协调算法研究
• 3.1 几种重要的多智能体Q学习算法
• 3.2 改进的多智能体Q学习协调算法
• 3.3 算法验证仿真试验与结果分析
• 3.3.1 有障碍物方格仿真实验
• 3.3.2 仿真实验结果
• 3.4 本章小结
• 第4章 基于多智能体Q学习的多AUV协调系统设计
• 4.1 引言
• 4.2 多AUV协调系统模块设计
• 4.2.1 通讯模块
• 4.2.2 栅格化地图模块
• 4.3 多智能体Q学习模块
• 4.3.1 输入状态空间压缩模块
• 4.3.2 个体动作选择模块
• 4.3.3 整体行为选择模块
• 4.3.4 编队任务内外强化信号模块
• 4.4 AUV运动模块
• 4.5 本章小结
• 第5章 多AUV协调控制仿真研究
• 5.1 基于多智能体Q学习的多AUV仿真设计
• 5.2 多智能体Q学习二维仿真试验与结果分析
• 5.2.1 仿真案例一
• 5.2.2 仿真案例二
• 5.2.3 仿真结果分析
• 5.3 多智能体Q学习的三维虚拟仿真
• 5.3.1 多智能体Q学习的多AUV三维仿真开发流程
• 5.3.2 多智能体Q学习的多AUV三维仿真框架
• 5.3.3 六个AUV虚拟仿真案例
• 5.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢