竞争型网络机器人系统关键问题研究

【摘要】：随着移动计算、物联网等技术的迅速发展,网络机器人研究领域已经成为当前机器人研究中的热门研究课题,受到各国科研机构的高度重视。竞争型网络机器人系统以机器人之间的竞争关系为着眼点,与传统协作型机器人有着本质的区别。本文围绕竞争型网络机器人系统的关键问题以及相应解决方法展开了研究。 竞争型网络机器人系统中存在的关键问题如下： 一、二人零和对抗中的最优策略生成问题。在与对手智能体的作业目标是相互对立的情况下,如何制定最优策略才能够为己方带来最大利益是必须面对的问题。 二、对手模型建立问题。建立有效的对手模型,才能够更加准确的估计对手的策略或意图等高层意识行为,为克敌制胜创造有利的信息条件。 三、多源不确定性对系统的干扰问题。如何在具有多源不确定性的环境下进行感知、决策及行动是本系统的特有问题。 本文围绕竞争型网络机器人系统的关键问题,得出如下研究结果： (1)针对二人零和对抗中的最优策略生成问题,本文引入了基于理性对手的策略生成方法。该方法通过微分对策将竞争型网络机器人系统的进攻与防守行为视为一种追逃博弈问题,通过找出双方的均衡策略,得出在双方都是理性决策者的情况下,双方的最优策略。本文通过仿真实验证明了在二人零和微分对策中,双方的最理性策略就是均衡策略。任何一方偏离其自身的最优策略都会使得对手收益增大,自己收益减小。 (2)针对对手模型建立问题,本文应用了基于隐马尔可夫模型的对手意图识别方法。该方法通过将观察到的对手行为序列,离散化为对手攻防条件指数这一显状态,并将对手的攻防时机作为隐状态,分别训练在对手全力进攻、全力防守、普通防守、普通进攻四种意图下的隐马尔可夫模型。在对弈中,通过观察对手的进攻和防守行为所导致的对手攻防条件的变化,运用学习到的隐马尔可夫模型参数比较对手各种意图的概率值,其中最大的概率值对应的对手意图即为其当前意图。最后通过系统实验证明了本方法的有效性。 (3)针对竞争型网络机器人系统的特点,提炼了竞争型网络机器人系统存在的多源不确定性,包括观测不确定性、执行不确定性、环境不确定性等。 (4)针对多源不确定性对系统的干扰问题,整合了面向不确定性的竞争型网络机器人系统的分层体系结构。该体系结构分为策略层、执行层、物理接口层。其中策略层有两个作用,一是根据对手信息猜测对手意图,并根据对手历史行为分析对手水平；二是根据环境、对手、己方的状态,给出当前的态势评估结果,根据态势评估值选择相应策略。执行层的核心作用是在充满多源不确定性的环境下,根据策略层意图,选择期望收益最大的行动,从而有效克服不确定性对于系统的严重影响。物理接口层用于机器人获取外界信息,及提供针对当前机器人系统的轨迹规划等控制方法。本层的引入增强了本系统的可移植性及可扩展性。最后通过系统实验证明了该体系结构的优越性。