基于强化学习的动态频谱分配算法的研究

论文摘要

认知无线电的智能核心在认知引擎中,认知引擎执行在通信系统重构中必须的模拟、学习、最优化过程。认知引擎必须具备学习能力,是认知无线电区别于传统无线电的关键部件。本文主要研究的便是将强化学习引入到认知用户动态接入授权用户网络的动态频谱接入问题中,使认知用户具备一定的智能,使认知引擎具备学习推理能力。本文介绍了强化学习的基本原理,描述了几种比较常用的强化学习算法,并且对多智能体强化学习理论进行了比较详细的介绍,为接下来的研究打好了理论基础。本文将频点的信噪比考虑到认知用户的奖赏函数中,提出了一种改进的DAQL算法,并且将该算法引入到有授权用户存在环境下的动态频谱接入的问题中,使认知用户具备一定的智能,实现了降低系统冲突概率,同时提高系统的平均容量的目标。仿真证明了该方案的有效性。本文重点研究了多用户动态频谱接入的问题,在认知用户独立学习的基础上提出一种基于分布式独立学习的多用户动态频谱接入算法。该算法中每个认知用户都是一个基于独立学习的智能体,它不知道在联合行动中其他认知用户的行动策略,仅维护自己的一个关于状态-行动对的Q值表,并且每个认知用户各自采取独立的迭代过程。同时将各个用户频点的信噪比引入到奖赏函数r中,在降低系统冲突概率的同时,提高了系统的平均容量。仿真结果表明该算法可以降低冲突概率,在考虑频点信噪比的情况下,系统的平均容量可以得到提高。为了加快学习速率,使系统能够拥有更好的收敛速度,本文将黑板模型、融合算法以及强化学习技术相结合,提出了一种基于协作学习的多用户动态频谱接入算法。其中,黑板是一块共享的存储区域,可以实现信息共享,融合算法用来对共享信息进行融合,强化学习技术利用融合结果进行动作选择。仿真验证了其学习速率和收敛速度明显优于基于分布式独立学习的多用户频谱接入算法,能够适应认知无线电对学习算法的要求。

论文目录

• 摘要
• Abstract
• 缩略语
• 第一章 绪论
• 1.1 引言
• 1.2 论文研究背景
• 1.2.1 认知无线电及强化学习概述
• 1.2.2 认知无线电及强化学习发展现状
• 1.3 本文的组织结构
• 第二章 强化学习的理论基础
• 2.1 强化学习概述
• 2.1.1 强化学习模型
• 2.1.2 优化行为模型
• 2.1.3 马尔可夫决策过程
• 2.2 强化学习的基本算法
• 2.2.1 TD算法
• 2.2.2 Q学习
• 2.2.3 Sarsa学习算法
• 2.2.4 Dyna算法
• 2.3 多Agent强化学习基本理论
• 2.3.1 MARL方法及其发展
• 2.3.2 合作MARL
• 2.3.3 基于对策或平衡解的MARL
• 2.3.4 最佳响应MARL
• 2.4 本章小结
• 第三章 基于DAQL动态频谱接入改进算法
• 3.1 引言
• 3.2 认知引擎
• 3.3 改进的DAQL算法
• 3.3.1 系统模型
• 3.3.2 接入方案
• 3.3.3 算法描述
• 3.3.4 问题映射
• 3.3.5 DAQL改进算法实现过程
• 3.4 仿真与分析
• 3.4.1 只有固定占用频谱的授权用户存在时的接入分析
• 3.4.2 有多种授权用户存在时的接入分析
• 3.5 本章小结
• 第四章 基于分布式独立学习的多用户动态频谱接入算法
• 4.1 引言
• 4.2 多Agent系统
• 4.3 基于分布式独立学习的多用户动态频谱接入算法
• 4.3.1 系统环境模型
• 4.3.2 分布式独立强化学习
• 4.3.3 问题映射及实现过程
• 4.4 仿真与分析
• 4.5 本章小结
• 第五章 基于协作学习的多用户动态频谱接入算法
• 5.1 引言
• 5.2 多Agent系统的协作机制
• 5.2.1 合同网技术
• 5.2.2 黑板模型
• 5.2.3 结果共享的协同方法
• 5.3 基于协作学习的多用户动态频谱接入算法
• 5.3.1 算法框架
• 5.3.2 算法描述
• 5.4 仿真结果及其分析
• 5.5 本章小结
• 第六章 全文总结及展望
• 6.1 本文工作总结
• 6.2 进一步研究展望
• 致谢
• 参考文献
• 攻读硕士期间发表的论文及参加的项目