收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度强化学习的路径规划算法研究

吴夏铭  
【摘要】:目前的路径规划方法在面对未知复杂的环境时不具有迅速响应复杂环境变化的能力、不能实时路径规划、收敛速度慢等缺点。近年来,随着深度学习和强化学习的不断发展,以深度强化学习来实现移动机器人路径规划任务一直是人工智能领域的研究热点。传统的路径规划算法应用到未知复杂的环境时,要寻到一条全程无碰撞的路径是很困难的。而深度强化学习可以使智能体在探索环境的同时,学习到相关经验、避障能力以及趋向目标点的能力,使机器人通过不断“试错”的方式,获得一条最优路径。因此本课题开展了基于深度强化学习的路径规划算法研究问题,论文主要研究如下:(1)由于深度Q网络算法经验回放机制的存储方式是先进先出,且后期回放训练的采样方式是平均采样,这会造成经验回放效率较低,导致移动机器人趋向目标和寻路过程缓慢;以及由于贪婪策略导致探索地图信息不完整,提出了PER-Noisy Net DQN算法模型。在存储样本的时候,赋予样本权重,按照优先级顺序送入网络进行样本训练,同时经验回放缓存区保留重要性数据序列,移除相似度较高的序列;将深度Q网络的全连接层改为噪声层,来提高智能体的探索能力。通过Open AI Gym平台验证了总奖励值比原始深度Q网络的奖励值提高了10%左右,证明移动机器人趋向目标点的准确率变高。(2)针对深度Q网络动作选择策略的方式,造成局部最优值解,导致移动机器人的路径轨迹不是最优的,提出了PER-Dueling DQN算法模型。在网络结构中引入对抗网络机制,解决智能体在选择动作时,判断该动作是否能得到正的奖励值,使总收益最大。通过Open AI Gym平台和二维栅格地图实验结果表明,PER-Dueling DQN比原始深度Q网络算法收敛效率高,比PER-Noisy Net DQN算法模型稳定,且总奖励值提高了11%~13%左右。后续选择基于PER-Dueling DQN算法做路径规划研究。(3)最后,基于ROS和Gazebo平台搭建三维无障碍环境和有障碍环境,通过Turtle Bot3移动机器人平台进行三维仿真实验,从实验结果分析总奖励值趋于稳定在4000左右,最大Q值也在探索过程中逐步上升,证明了PER-Dueling DQN算法模型稳定且智能体能学习到目标趋向能力和避障能力,能有效完成路径规划任务。将训练好的模型移植到机器人平台,进行实物场景测试,实现了路径规划任务。


知网文化
【相似文献】
中国期刊全文数据库 前17条
1 戴青;;基于模拟退火的机器人路径规划算法[J];科技资讯;2009年10期
2 王力虎,张海洪;一种室内自主清扫机器人的路径规划算法[J];机床与液压;2005年07期
3 李鹏;温素芳;;基于模糊控制的路径规划算法的实现[J];杭州电子科技大学学报;2007年06期
4 张燕;李亨凡;;移动机器人路径规划算法的对比研究[J];单片机与嵌入式系统应用;2020年07期
5 纪海宾;徐敏;王红梅;;基于矢量场的移动机器人路径规划算法研究[J];中小企业管理与科技(下旬刊);2013年11期
6 周燕萍;刘以安;;一种移动机器人的路径规划算法研究[J];机械设计与制造;2017年08期
7 陈华志,谢存禧,曾德怀;基于神经网络的移动机器人路径规划算法的仿真[J];华南理工大学学报(自然科学版);2003年06期
8 王中玉;曾国辉;黄勃;;基于改进双向A~*的移动机器人路径规划算法[J];传感器与微系统;2020年11期
9 周嵘;张志翔;翟晓晖;闵慧芹;孔庆杰;;机器人室内路径规划算法的实用性研究[J];机械与电子;2016年08期
10 朱咏杰,王树国,常疆;一种移动机器人路径规划算法的性能仿真分析与参数优化[J];机器人;2001年S1期
11 宁志刚;;一种高效的机器人路径规划算法[J];科技致富向导;2011年18期
12 徐博;徐旻;陈立平;谭彧;;智能机械全覆盖路径规划算法综述[J];计算机测量与控制;2016年10期
13 简毅;张月;;移动机器人全局覆盖路径规划算法研究进展与展望[J];计算机应用;2014年10期
14 孙奥;朱桂斌;江铁;史名一;;一种时间依赖路网最小时间路径规划算法研究[J];计算机应用研究;2012年11期
15 纪晴;段培永;李连防;王海鹏;;移动机器人全覆盖路径规划算法综述[J];山东建筑大学学报;2007年04期
16 付梦印,李杰,邓志红;基于分层道路网络的新型路径规划算法[J];计算机辅助设计与图形学学报;2005年04期
17 赵卫东;蒋超;;两阶段搜索的A~*全局路径规划算法[J];计算机应用与软件;2020年12期
中国重要会议论文全文数据库 前20条
1 毛永明;张东伟;阚凤龙;;机器人路径规划算法的发展[A];第十一届沈阳科学学术年会暨中国汽车产业集聚区发展与合作论坛论文集(信息科学与工程技术分册)[C];2014年
2 原晓伟;任雪梅;;参数自调整的机器人路径规划算法[A];第二十三届中国控制会议论文集(下册)[C];2004年
3 王仲宾;魏闯先;田卫东;周红娟;;一种改进的基于切线的机器人路径规划算法[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(上册)[C];2006年
4 周治国;何栩;徐力生;屈崇;;无人艇深度强化学习路径规划算法与仿真实现(英文)[A];2020中国仿真大会论文集[C];2020年
5 涂自然;王维;梁以业;禹建丽;;基于强化学习的自适应变步长机器人路径规划算法[A];2003年中国智能自动化会议论文集(上册)[C];2003年
6 禹建丽;韩平;姚旭东;;快速神经网络路径规划算法局部极小值问题的研究与实验[A];2001年中国智能自动化会议论文集(上册)[C];2001年
7 史久根;徐胜生;;基于文化-粒子群算法的机器人路径规划算法[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
8 雷东升;诸彤宇;;一种基于实时路况信息的动态路径规划算法[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
9 汪永红;刘小春;张有为;侯一凡;;嵌入式GIS中大区域路径规划算法研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
10 王亚琼;王莉;韩露;;融合动态交通信息的路径规划算法研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
11 李贻斌;李彩虹;宋锐;刘鲁源;王睿;;基于混沌控制的多目标不确定环境下移动机器人路径规划[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
12 陆军;华克强;;水下机器人的一种路径规划算法及实现[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(下册)[C];1995年
13 李俊泉;尹怡欣;;基于心理动力机制的移动机器人[A];2005年中国智能自动化会议论文集[C];2005年
14 朱付涛;吴云洁;;基于最优反馈控制的实时路径规划算法研究[A];北京力学会第二十四届学术年会会议论文集[C];2018年
15 张超;程荫杭;苗宇;;基于几何尺寸的车辆自主导航路径规划算法[A];可持续发展的中国交通——2005全国博士生学术论坛(交通运输工程学科)论文集(下册)[C];2005年
16 陈彦秋;江宝山;刘禹;张继业;;直写式3D打印路径规划及运动控制研究[A];第十届动力学与控制学术会议摘要集[C];2016年
17 易晟;樊晓平;罗熊;;平面移动机器人最短路径规划研究及仿真实现[A];第二十一届中国控制会议论文集[C];2002年
18 刘志辉;李庆建;;嵌入式导航系统中一种快速路径规划方法探讨[A];变形与安全监测理论与实践——2014工程测量分会与矿山测量专委会年会论文精选[C];2014年
19 柳长安;程文刚;李国栋;;基于视觉反馈的足球机器人路径规划算法[A];2007年中国智能自动化会议论文集[C];2007年
20 马玉林;闫庆辉;付宜利;;复杂障碍环境下轮式移动操作机路径规划算法[A];人才、创新与老工业基地的振兴——2004年中国机械工程学会年会论文集[C];2004年
中国博士学位论文全文数据库 前20条
1 王薇;无线传感器网络中移动sink路径规划算法研究[D];西北工业大学;2017年
2 ;[D];;年
3 彭飞;约束条件下的船舶装配拆卸随机采样路径规划研究[D];华中科技大学;2013年
4 张静;面向路径规划的导航路网数据模型研究[D];中国矿业大学(北京);2009年
5 段华;室外移动机器人视觉导航关键技术研究[D];南京航空航天大学;2006年
6 张泽明;人工免疫算法及其应用研究[D];中国科学技术大学;2007年
7 李彩虹;移动机器人智能体混合式体系结构研究[D];山东大学;2007年
8 李世维;基于无线传感器网络的移动机器人编队关键技术研究[D];哈尔滨工业大学;2020年
9 庄晓东;多移动机器人运动控制策略的强化学习研究[D];中国海洋大学;2005年
10 邓立霞;多移动机器人协调规划算法研究[D];山东大学;2016年
11 马勇;多移动机器人路径规划研究[D];华中科技大学;2012年
12 邹小兵;移动机器人原型的控制系统设计与环境建模研究[D];中南大学;2005年
13 ;[D];;年
14 ;[D];;年
15 ;[D];;年
16 张启彬;基于不确定性分析的移动机器人室内定位与导航控制方法研究[D];中国科学技术大学;2018年
17 李晔卓;可重构多模式地面移动机器人的构型设计与性能研究[D];北京交通大学;2018年
18 黄辰;基于智能优化算法的移动机器人路径规划与定位方法研究[D];大连交通大学;2018年
19 程传奇;非结构场景下移动机器人自主导航关键技术研究[D];战略支援部队信息工程大学;2018年
20 冯晟;基于无线传感器网络的移动机器人室内动态定位[D];东北大学;2017年
中国硕士学位论文全文数据库 前20条
1 吴夏铭;基于深度强化学习的路径规划算法研究[D];长春理工大学;2020年
2 郑亮;移动机器人混合路径规划算法研究[D];江苏大学;2008年
3 刘贝野;移动机器人路径规划算法的研究[D];河北工业大学;2018年
4 徐培培;复杂动态环境下移动机器人的全局路径规划算法研究[D];北京邮电大学;2009年
5 丁致远;室内定位及路径规划算法研究[D];哈尔滨工业大学;2020年
6 孔迎盈;机器人路径规划算法的研究[D];复旦大学;2012年
7 万腾;视感知下的空地协同路径规划算法研究[D];兰州理工大学;2017年
8 宋一博;基于路链的路径规划算法研究[D];西安电子科技大学;2017年
9 王春生;基于动态A*路径规划算法的移动机器人室内定位方法研究[D];北京工业大学;2017年
10 程思敏;时间限制下动态路网路径规划算法的研究与实现[D];中国科学技术大学;2015年
11 孙国正;室内清扫机器人设计及路径规划算法研究[D];华中科技大学;2015年
12 杜沅泽;人群动画中融入情绪模型的实时路径规划算法研究[D];郑州大学;2015年
13 罗诚;无人机路径规划算法研究[D];复旦大学;2010年
14 巩海军;无人车视觉目标检测和路径规划算法研究[D];北京交通大学;2019年
15 赵苏磊;基于多目标优化的多移动充电设备路径规划算法研究[D];合肥工业大学;2019年
16 张艺还;车路协同环境下突发事件救援车辆路径规划算法研究[D];北京交通大学;2019年
17 陈良;特殊交通环境下移动车辆路径规划强化学习算法研究[D];北京交通大学;2019年
18 韩文杰;人员安全保障系统的应用与研究[D];武汉轻工大学;2019年
19 黄璞;基于改进A*算法的室内路径规划研究[D];华北电力大学;2019年
20 曹思萌;动态环境下移动机器人的路径规划算法研究[D];哈尔滨工业大学;2019年
中国重要报纸全文数据库 前10条
1 记者 史舒频;一张创新券激活企业新动能[N];湖州日报;2019年
2 陈乐;移动机器人:太阳能安装工终结者[N];中国科学报;2012年
3 记者 张红波;云南技师学院郑棋元勇夺第45届世界技能大赛移动机器人项目金牌[N];云南经济日报;2019年
4 本报记者 黄辛 赵广立;给移动机器人装上“最强大脑”[N];中国科学报;2018年
5 整理 任紫;技能报国 正当其时[N];中国劳动保障报;2019年
6 湖南日报记者 姚学文;驰众 跻身工业移动机器人第一方阵[N];湖南日报;2018年
7 本报记者 郝晓明;移动机器人“冰屏”炫舞“北京八分钟”[N];科技日报;2018年
8 沈阳日报、沈报融媒记者 李海英;炫舞“北京8分钟” 沈阳新松移动机器人团队荣获“市长特别奖”[N];沈阳日报;2018年
9 本报记者 孙宏阳;移动机器人巡逻机场高速[N];北京日报;2017年
10 本报记者 周明阳;移动机器人:“百变万用”真神奇[N];经济日报;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978