收藏本站
《哈尔滨工业大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

多智能体机器人系统中的若干通信技术研究

刘海涛  
【摘要】: 利用通信提高多智能体机器人系统协调控制的性能是近年来多机器人和多智能体领域中的研究热点之一。如何通过通信进行信息共享对于合作与协调至关重要,本文介绍了多智能体机器人系统的通信方式,对合作中通信方面当前关注的主要研究内容和方法进行了系统地总结和综述,对比和分析了近年来基于通信的分布式控制系统典型的建模方法。在此基础上,对基于通信的多智能体机器人系统协调控制中的若干关键问题进行了较深入的分析和研究。具体包括以下几方面研究内容: 建立了无偿通信情况下多智能体机器人系统协调控制的集中式模型。将通信代价参数化表示后引入模型,建立了无偿通信时团队协调的集中式控制模型,即无偿通信的存在可以将多智能体部分可观察马尔可夫决策过程(POMDP)简化为单智能体POMDP。为求解带有不确定性的POMDP近似最优策略,提出了一种新的方法,利用结合进化算法的强化学习来估计POMDP的最优解。利用Memetic算法来进化策略,而Q学习算法得到预测奖励来指出进化策略的适应度值。针对隐状态问题,通过记忆智能体最近经历的确定性的有限步历史信息,与表示所有可能状态上的概率分布的信度状态相结合,共同决策当前的最优策略。利用一种混合搜索方法来提高搜索效率,其中调整因子被用于保持种群的多样性,并且指导组合式交叉操作与变异操作。在POMDP典型实例问题上的实验结果证明本文提出的算法性能优于其他的POMDP近似算法。最后针对无偿通信时多智能体机器人系统协调问题进行了有效性实验。 无偿通信可以将多智能体POMDP的计算复杂度简化为单智能体POMDP的计算复杂度,然而实际应用中通信不是无偿的,常常期望减少多智能体机器人系统协调所需通信的数量。为此提出了一种新的分散式通信决策算法,利用有向无环图表示团队的可能联合信度,基于此以分散式的方式制定通信决策,仅当智能体自身的观察信息显示共享信息将导致期望回报升高时选择通信。通过维持以及推理团队的可能联合信度将集中式单智能体策略应用于分散式多智能体POMDP问题。通过实验以及一个详细的实例表明,利用我们提出的DAG_DEC_COMM分散式通信决策算法能够有效地减少通信资源的使用,同时提高分散执行的性能。 不可靠的通信是众多多智能体实际应用领域的基本特征。有限的带宽、干扰以及视线是通信失败的主要原因。本文在分布式约束优化问题框架下研究了改进的分布式约束推理算法,使其能有效地运行在不可靠的通信条件下。为了减少不必要的通信量,提高算法性能,改进了Adopt算法,使其在保证活性的前提下减少了搜索最优解所需通信消息的数目。此外,分析了引起消息丢失的原因,提出了兼顾两种原因引起的消息丢失的改进方法。结果显示改进后的Adopt算法在通信不可靠时也能保证终止于最优解,并且得到解的时间随着消息丢失概率的增加适度地降低了。 近年来多智能体联合作业受到显著关注。人、智能体混合团队得到了广泛应用。本文研究并设计实现了一种基于移动信息设备的多智能体人-机器人混合团队系统。首先提出了一种基于移动信息设备的多智能体人-机器人混合团队系统的体系结构,然后设计并实现了基于移动信息设备的人与机器人之间以及多机器人间的通信系统,实现了团队成员间的信息共享。最后利用实验来验证本文的方法,实验结果表明用户能在自然、便捷的方式下进行人-机器人交互,完成远程监控任务,多机器人通过通信将各个机器人的局部环境模型构建成团队环境模型,有利于提高团队协调工作的性能。
【学位授予单位】:哈尔滨工业大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP242.2

【相似文献】
中国期刊全文数据库 前10条
1 夏丽丽;;连续状态-连续行动强化学习[J];电脑知识与技术;2011年19期
2 祝宇虹;毛俊鑫;;基于人工情感与Q学习的机器人行为决策[J];机械与电子;2011年07期
3 刘卫红;周义莲;;强化学习方法在Web服务组合中的应用比较研究[J];计算机应用与软件;2011年07期
4 黄付亮;张荣国;陈大川;刘焜;;基于联合博弈的多Agent学习[J];计算机与数字工程;2011年06期
5 张文柱;邵丽娜;;异构无线网络中基于强化学习的频谱管理算法[J];西安电子科技大学学报;2011年04期
6 李昭阁;;强化学习,更新观念,发挥校园网作用[J];学周刊;2011年12期
7 许培;薛伟;;基于Q-learning的一种多Agent系统结构模型[J];计算机与数字工程;2011年08期
8 常晓军;;基于联合强化学习的RoboCup-2D传球策略[J];计算机工程与应用;2011年23期
9 冯侦探;尤佳莉;倪宏;;P2P VOD系统邻居节点查找算法[J];计算机工程与应用;2011年24期
10 王世进;;面向制造任务动态分配的改进合同网机制[J];计算机集成制造系统;2011年06期
中国重要会议论文全文数据库 前10条
1 文锋;陈宗海;陈春林;;基于RLS-TD和值梯度的强化学习方法用于LQR控制问题[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年
2 卓睿;陈宗海;陈春林;;强化学习在移动机器人导航上的应用[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年
3 张伟;李建更;张家旺;;多智能体强化学习在机器人足球比赛中的应用[A];2005年中国智能自动化会议论文集[C];2005年
4 张家旺;韩光胜;张伟;;基于ASPL模型的多智能体强化学习在RoboCup中的应用[A];2005中国机器人大赛论文集[C];2005年
5 敬斌;田野;;Robocup中的传球策略[A];2005中国机器人大赛论文集[C];2005年
6 陈春林;陈宗海;卓睿;;分层式强化学习的定性空间表达[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年
7 涂自然;王维;梁以业;禹建丽;;基于强化学习的自适应变步长机器人路径规划算法[A];2003年中国智能自动化会议论文集(上册)[C];2003年
8 叶道年;陈卫东;;机器人团队协作的强化学习[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年
9 方宝富;王浩;姚宏亮;杨静;周晋;;Q学习在机器人足球中的应用[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年
10 潘凌寒;程显毅;;RoboCup仿真比赛中机器学习问题的研究[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 记者 刘琰;强化学习 增强本领 扎实工作[N];周口日报;2009年
2 谭育才;强化学习 克己奉公[N];赤峰日报;2008年
3 章斌、特约记者夏吉龙;8710部队 破解难题强化学习教育效果[N];人民武警;2010年
4 通讯员 马全有;强化学习 搞好服务 解放思想[N];甘肃法制报;2007年
5 李北川;强化学习 找准问题 着力整改[N];凉山日报(汉);2007年
6 陈滟澎 张玮(作者单位:市交通局公路处);强化学习提高机关办事效能[N];廊坊日报;2006年
7 记者 刘莉 实习记者 刘慕欣;兵团党委“保先”教育活动督导组强化学习[N];兵团日报(汉);2005年
8 记者王旭燕、实习生张娜;强化学习抓好落实 确保完成全年目标任务[N];铜川日报;2009年
9 关真付;唐山市文化局强化学习狠抓落实[N];中国文化报;2003年
10 朱玉亭 孙良景 鞠允国;强化学习重结合认真整改谋发展[N];人民公安报;2004年
中国博士学位论文全文数据库 前10条
1 刘海涛;多智能体机器人系统中的若干通信技术研究[D];哈尔滨工业大学;2007年
2 金钊;加速强化学习方法研究[D];云南大学;2010年
3 徐明亮;强化学习及其应用研究[D];江南大学;2010年
4 陈学松;强化学习及其在机器人系统中的应用研究[D];广东工业大学;2011年
5 仲宇;分布式强化学习理论及在多机器人中的应用研究[D];哈尔滨工程大学;2003年
6 李誌;基于视觉听觉语义相干性的强化学习系统的研究[D];太原理工大学;2012年
7 郭庆;多Agent系统协商中若干关键技术的研究[D];浙江大学;2003年
8 戴朝晖;基于混合抽象机制的多智能体系统动态分层强化学习算法研究[D];中南大学;2012年
9 杨东勇;多机器人协作的学习与进化方法[D];浙江大学;2005年
10 庄晓东;多移动机器人运动控制策略的强化学习研究[D];中国海洋大学;2005年
中国硕士学位论文全文数据库 前10条
1 尹晓虎;多Agent协同的强化学习方法研究[D];国防科学技术大学;2003年
2 宋梅萍;多移动机器人协作任务的分布式决策控制系统[D];哈尔滨工程大学;2003年
3 卢方国;强化学习在个性化信息Agent的应用研究[D];广东工业大学;2004年
4 郭一明;基于强化学习的劣化系统维修策略研究[D];合肥工业大学;2011年
5 钱征;基于强化学习的倒立摆控制研究[D];北京工业大学;2005年
6 王瑞霞;基于强化学习的倒立摆控制[D];北京工业大学;2005年
7 顾鑫;个性化智能信息检索系统研究[D];哈尔滨工程大学;2004年
8 张驰;基于ROBOCUP的多智能体系统设计与实现[D];北京工业大学;2004年
9 袁继彬;大规模Markov系统基于性能势学习的NDP优化方法研究[D];合肥工业大学;2005年
10 汪向利;基于多Agent的生产计划与调度系统研究与开发[D];浙江工业大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026