基于增强学习的CogMesh功率适配与频谱接入技术研究

【摘要】：随着无线通信技术的迅猛发展,日益增长的无线通信需求与有限的无线频谱资源之间的矛盾越来越突出。认知无线电技术为在频谱资源紧缺的情况下提高频谱利用率的构想开创了一个崭新的局面,它允许非经授权的无线通信设备根据一定的学习和决策算法,主动地检测和有效地利用专用授权频段上空闲频谱资源,从而实现时间、频率、空间的三维频谱复用。CogMesh基于Mesh网络,利用Ad Hoc网络的特性和认知无线电技术相融合,得到了一种新的网络模型。本学位论文针对当Cog Mesh网络中的认知无线电用户以Overlay和Underlay两种不同的频谱共享方式与授权用户共享授权频段时的功率适配和机会式频谱接入问题,主要从以下三个方面展开了深入的研究,概括为： 研究了CogMesh网络中相邻簇之间的链接问题。特别地,针对相邻两个簇有公共路由节点的情况进行了深入的讨论。传统的簇间链接完成一次信息的交互需要4次传输,若采用基于物理层网络编码技术,路由节点能够把同时接收来自两个簇头的信息转发给对方,大大减少了信息交换所需要的传输次数。进一步,研究了在授权用户的发送功率随机变化的动态网络环境下,路由节点该如何来选取发送功率级的问题。基于增强学习,提出了基于动态规划的发送功率选择算法和基于ε贪婪的智能簇间链接算法。这两个算法的优点就是在动态的网络环境和对授权用户信息不完全了解的情况下,路由节点能够通过与无线通信环境的交互做出最优发送功率的选择。 研究了CogMesh网络中的非合作功率适配问题。在同一频段上共同传输时,为了保证对授权用户造成的干扰在可承受范围内,认知无线电用户可适当调整其发送功率。认知无线电用户自治的属性导致网络环境是动态的,因此,在随机赛局的理论框架下首先将增强学习中的单用户Q学习算法推广到了多用户的情形,得到了多用户Q学习随机功率适配算法。但是该算法存在的一个问题,认知无线电用户在学习的过程中需要知道竞争用户的策略信息,这是很难办到的。进而提出了基于揣测多用户Q学习的随机功率适配算法,每个认知无线电用户可以根据自己当地不完全的信息,揣测出竞争用户对自身学习的累积影响,在此揣测的基础上学习得到最优功率适配策略。并在理论上证明了基于揣测多用户Q学习的随机功率适配算法在一定的条件下将收敛到最优发送功率策略。 研究了CogMesh网络中非合作频谱接入问题。在Overlay的频谱共享方式中,认知无线电用户只能在授权用户“休眠”时机会式地使用授权频段。当授权用户的活动规律已知时,不同簇内相互竞争的认知无线电用户频谱接入既是一个非合作博弈过程,也是一个学习的过程。智能的认知无线电用户基于一种“利益互惠”的揣测策略机制,对其它竞争用户针对自己策略变化做出的反应建立一种信任。考虑了一个线性的信任模型,并基于此模型提出了最佳反应学习频谱接入算法和梯度上升学习频谱接入算法。严格证明了当所有认知无线电用户都采取最佳反应学习频谱接入算法和梯度上升学习频谱接入算法时CogMesh网络的稳定性。