收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

智能驾驶车辆自主决策与规划的增强学习方法研究

左磊  
【摘要】:早期表格型增强学习算法难以解决具有大规模或连续状态空间的优化决策问题,这极大限制了增强学习的应用推广。近年来,用于求解大规模或连续状态空间问题的值函数逼近方法成为增强学习的研究热点,而该类方法的一个关键问题是特征表示,直接影响着算法性能。智能驾驶车辆是人工智能的重要应用领域,受到越来越多的关注。如何利用机器学习方法提高智能车辆的自主决策和导航能力,提高车辆驾驶的安全性,是智能驾驶领域的研究热点和难点。本文在国家自然科学基金项目“结构化增强学习及其在虚拟人运动规划中的应用”、“自主驾驶车辆关键技术与集成验证平台”等支持下,以增强学习及其在智能车辆自主驾驶决策与规划中的应用为研究内容,重点开展了大规模状态空间中增强学习的特征表示方法、动态车流条件下智能车辆驾驶决策的增强学习方法和基于增强学习的智能车辆分层路径规划方法研究。本文首先综述了增强学习的研究现状,介绍了智能驾驶车辆的发展历程和研究进展,总结了智能车辆驾驶决策与路径规划方法的研究现状。论文取得的主要研究成果包括:(1)提出了一种基于随机神经元的近似策略迭代(RN-API,random-neuron based approximate policy iteration)算法,用于解决大规模或连续状态空间中的增强学习问题。该算法利用单隐层前馈神经网络来构造策略迭代过程中的值函数逼近器,不同于传统单隐层前馈神经网络,RN-API隐层使用的是随机神经元,即网络输入层到隐层的权值和隐层偏置是随机赋值,无需通过训练调整,只有输出层的权值需要通过学习得到。RN-API算法不仅保证了算法的泛化性能,而且减少了构造特征时需要人为优化调整的参数,提高了算法的可用性,理论分析表明该算法具有良好的特征表示能力和泛化能力。通过Mountain-car和倒立摆两个学习控制问题对所提算法进行了仿真研究,结果表明所提算法在保证泛化性能的同时能够有效降低特征表示过程中的参数调整优化难度。(2)提出了一种动态车流条件下智能车辆驾驶决策的增强学习方法,该方法首先将动态车流中的驾驶决策问题抽象建模为具有连续状态空间的马尔可夫决策过程,然后利用近似策略迭代算法进行求解。所提方法基于数据驱动,可以利用样本数据来获取驾驶经验,提高了智能车辆驾驶决策系统的学习能力和对环境的自适应能力。利用基于红旗HQ3自主车建立的高速公路驾驶决策仿真环境对所提方法进行了测试,结果表明了所提方法解决动态车流条件下驾驶决策问题的可行性和有效性。(3)提出了一种基于增强学习的智能车辆分层路径规划方法,该方法上层通过A*搜索快速找到一系列子目标点,下层利用基于增强学习的路径优化器对规划路径进行平滑优化处理。所提方法利用增强学习算法训练路径优化器,训练过程结合了车辆运动学特性,使得路径优化器得到的规划路径符合车辆运动学约束,更利于后续的车辆跟踪控制。对所提方法进行了仿真实验,结果表明所提方法能对规划路径进行有效的平滑优化,并具有较好的自适应性,能够处理一定的环境不确定性。(4)设计实现了基于增强学习的智能车自主驾驶决策系统,在真实交通环境中对该系统进行了实车测试,实验结果表明,在动态车流条件下,利用从数据中获取的决策经验,该系统能够保证智能车在实际交通环境中安全快速行驶,为以后利用增强学习进一步提高智能车辆的自主决策能力奠定了基础。论文最后对将来有待进一步研究的问题进行了分析和展望。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 关蕾;;智能车辆交通体系发展研究[J];企业科技与发展;2017年11期
2 黎鹏;;智能车辆发展趋向分析[J];科技经济导刊;2018年29期
3 孙怀江,余陈纲,杨静宇;ALVINN及其扩展[J];南京理工大学学报(自然科学版);2002年02期
4 于允平;智能车辆和高速公路方兴未艾[J];世界产品与技术;1996年02期
5 李健;;智能车辆缉查布控系统的设计与实现探讨[J];科技经济导刊;2018年33期
6 刘腾;于会龙;田滨;艾云峰;陈龙;;智能车的智能指挥与控制:基本方法与系统结构[J];指挥与控制学报;2018年01期
7 韩俊淑 ,韩佳文 ,高翔 ,赵玉凡 ,常明;智能车辆的研究及发展[J];世界汽车;2003年09期
8 张学显;刘伟;余彪;许铁娟;周鹏飞;;数据驱动的智能车辆目标检测能力测试评价方法[J];计算机系统应用;2017年11期
9 王宏,何克忠,张钹;智能车辆的自主驾驶与辅助导航[J];机器人;1997年02期
10 赵娥;张学军;;浅析人工神经网络理论在智能车辆中的应用[J];科技与创新;2016年17期
11 尹念东;智能车辆的研究及前景[J];上海汽车;2002年04期
12 江浩斌;曹福贵;朱畏畏;;基于滑模控制的智能车辆集群运动控制方法[J];江苏大学学报(自然科学版);2018年04期
13 杨清学;;智能车辆通信管理系统研究[J];大众科技;2017年08期
14 高继东;颜培硕;王静静;;我国智能车辆技术发展研究[J];时代汽车;2016年09期
15 卜雪民;钱峰;;基于DSP的智能车辆系统移动小车的设计[J];电子测量技术;2007年10期
16 李昊洋;邱鑫;杨继全;沈世斌;;基于多传感器的直立循迹智能车硬件系统设计[J];南京师范大学学报(工程技术版);2017年04期
17 严利鑫;秦伶巧;熊钰冰;李凯;;多模式共驾智能车行驶安全性评估研究[J];交通信息与安全;2018年03期
18 马育林;吴青;吴勇;王维锋;;灭火智能车辆PID控制方法研究[J];交通信息与安全;2009年01期
19 白娜;崔巧娜;;基于物联网——智能车辆超限控制系统的设计[J];电子世界;2016年02期
中国重要会议论文全文数据库 前10条
1 赵阳;刘奇龙;孙玲玉;;智能车设计与实践总结[A];荆楚学术2018年6月(总第二十期)[C];2018年
2 徐听;;智能车辆感知与优化控制的机器学习方法[A];2015年中国自动化大会摘要集[C];2015年
3 宁博;余春暄;;智能车辆定位导航系统软件设计中数据实时采集的解决方案[A];2003年中国智能自动化会议论文集(下册)[C];2003年
4 王肖;徐友春;高翔;章永进;李伟;;基于改进ESP的智能车辆机械转向装置改造方案设计[A];2010中国汽车工程学会年会论文集[C];2010年
5 胡宏宇;高振海;;基于转向盘转角速度时序分析的驾驶疲劳检测方法[A];2015中国汽车工程学会年会论文集(Volume2)[C];2015年
6 张家同;王志强;曹绪龙;;国内外“车联网”的发展[A];卫星导航产业机遇与挑战2010[C];2010年
7 杜明芳;方建军;张世德;李多扬;张哲玮;李栋;;基于机器视觉的车辆自主导航技术的探讨[A];2014第九届中国智能交通年会大会论文集[C];2014年
8 张晶晶;吴蕊珠;张伟康;马慧姝;;基于深度学习的智能驾驶目标追踪算法综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
9 王荣本;张明恒;毛晓燕;;双目视觉技术在环境探测中的应用[A];中国宇航学会深空探测技术专业委员会第二届学术会议论文集[C];2005年
10 吴波;刘浪;林鹰;;ITS系统及其实现的关键技术[A];第九次全国城市道路与交通工程学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 左磊;智能驾驶车辆自主决策与规划的增强学习方法研究[D];国防科学技术大学;2016年
2 柴琳果;智能车路协同交叉口间隙耦合运行控制方法[D];北京交通大学;2018年
3 刘华军;面向智能车辆的道路环境理解技术研究[D];南京理工大学;2007年
4 王锋辉;面向区域智能运输的多智能车辆协作研究[D];上海交通大学;2009年
5 石金进;基于视觉的智能车辆道路识别与障碍物检测方法研究[D];哈尔滨工业大学;2017年
6 王科;城市交通中智能车辆环境感知方法研究[D];湖南大学;2013年
7 郭景华;视觉导航式智能车辆横向与纵向控制研究[D];大连理工大学;2012年
8 张国权;基于视觉导航的智能车辆目标检测关键技术研究[D];兰州理工大学;2012年
9 肖俊;基于卫星导航与视觉导航集成的智能车辆关键技术研究[D];武汉大学;2011年
10 李贻斌;ITS智能车辆关键技术研究[D];天津大学;2008年
中国硕士学位论文全文数据库 前10条
1 王甜甜;基于联合仿真的智能车辆转向避撞和稳定性联合控制研究[D];长安大学;2018年
2 丁建峰;车路协同下智能车跟随控制策略研究[D];天津职业技术师范大学;2018年
3 郭泉成;基于高斯伪谱法的智能车局部路径规划研究[D];华南理工大学;2018年
4 冯震;基于模糊神经网络的智能车的控制[D];内蒙古大学;2018年
5 钱卓;基于单片机的智能车速度控制系统研究[D];大连交通大学;2016年
6 丁鹏;自寻迹智能车PID控制研究[D];南华大学;2018年
7 许庆志;基于深度学习的交通标志识别及实现[D];北京交通大学;2018年
8 安林芳;智能车辆自动驾驶路径规划研究[D];湖南大学;2017年
9 骆佩佩;面向认知地图的智能车定位系统及其应用[D];电子科技大学;2018年
10 王富奎;高动态环境下智能车局部路径规划研究[D];电子科技大学;2018年
中国重要报纸全文数据库 前6条
1 记者 张雷 姚星宇;总投资30亿年产15万辆新能源智能车辆制造项目落户瑞昌[N];九江日报;2015年
2 长沙晚报记者 陈登辉 陈焕明;持牌上路,自动驾驶开进现实[N];长沙晚报;2018年
3 部公路院 长安大学 重庆车检院;为自动驾驶技术“铺路搭桥”[N];中国交通报;2018年
4 赵三明;加法与乘法[N];中国工业报;2015年
5 本报实习记者 郑宗杰;车辆智能安保:汽车厂家各显其能[N];中国交通报;2003年
6 记者 陆鸣;我国智能汽车迎来快速发展“风口”[N];科技日报;2015年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978