收藏本站
《浙江大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Q学习的欠驱动双足机器人行走控制研究

刘道远  
【摘要】:被动动态步行是双足步行研究领域的一个重要分支,其目的在于挖掘动态步行本质特征,充分利用自身动力学特性提高能效。由于机器人的结构多样性,动态特性具有较大差异,难以选用其他机器人的运动轨迹作为参考步态。而在机器人与地面的不断交互中,Q学习可以充分利用双足机器人自身的动力学特性,在试错中自主学习行走。本文针对五连杆欠驱动步行机器人行走控制,提出了基于神经网络的Q学习方法进行研究,实现了稳定连续的动态步行。本文完成的主要工作如下: 1.采用了平面五连杆四驱动模型,并在已有的柔性驱动方式的基础上,为机器人选择了柔性驱动器。 2.提出了一种基于RBF神经网络的Q学习控制方法。利用RBF网络的泛化能力,代替了离散的Q值表,实现了机器人连续状态到离散的Q值表的映射关系,解决空间信度问题;将资格迹思想融入到RBF神经网络中,解决Q学习时间信度分配问题;借鉴了等效倒立摆模型降低神经网络输入维度;提出了改进的ε贪婪算法来平衡Q学习中“探索”与“利用”的矛盾。仿真得到了稳定自然的周期动态步态,验证了基于RBF神经网络的Q学习算法的有效性。 3.为了解决Q学习“无监督”、状态-动作空间大带来的学习速度慢的难题,本文采用了基于历史经验回放技术加速Q学习。仿真表明基于历史经验回放技术能提高Q学习效率。 4.设计了ADAMS仿真平台。为得到更为实际的仿真效果,建立了ADAMS上的虚拟样机。在此基础上建立了ADAMS与MATLAB的联合仿真平台。仿真实验表明仿真平台能简化繁琐的操作,提高了仿真效率。
【学位授予单位】:浙江大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP273;TP273

【参考文献】
中国期刊全文数据库 前10条
1 王强,纪军红,强文义,傅佩琛;基于自适应模糊逻辑和神经网络的双足机器人控制研究[J];高技术通讯;2001年07期
2 刘莉,汪劲松,陈恳,杨东超,赵建东;THBIP-I拟人机器人研究进展[J];机器人;2002年03期
3 谢涛,徐建峰,张永学,强文义;仿人机器人的研究历史、现状及展望[J];机器人;2002年04期
4 付成龙;陈恳;王健美;黄元林;;动态步行双足机器人THR-I的设计与实现[J];机器人;2008年02期
5 肖涛;黄强;杨洁;余张国;张伟民;;给定手部作业轨迹的仿人机器人推操作研究[J];机器人;2008年05期
6 孙羽,张汝波,徐东;强化学习中资格迹的作用[J];计算机工程;2002年05期
7 于秀丽;魏世民;廖启征;;仿人机器人发展及其技术探索[J];机械工程学报;2009年03期
8 麻亮,纪军红,强文义,傅佩琛;基于力矩传感器的双足机器人在线模糊步态调整器设计[J];控制与决策;2000年06期
9 刘德君;田彦涛;张雷;;双足欠驱动机器人能量成型控制[J];机械工程学报;2012年23期
10 范辉;;RS 485总线与CAN总线应用比较[J];上海电机学院学报;2005年05期
中国重要会议论文全文数据库 前1条
1 谢最伟;吴新跃;;基于ADAMS的碰撞仿真分析[A];第三届中国CAE工程分析技术年会论文集[C];2007年
中国博士学位论文全文数据库 前5条
1 刘振泽;欠驱动步行机器人运动学机理与控制策略研究[D];吉林大学;2007年
2 毛勇;半被动双足机器人的设计与再励学习控制[D];清华大学;2007年
3 张佩杰;欠驱动双足机器人行走步态建模与动态行走控制策略研究[D];吉林大学;2010年
4 绳涛;欠驱动两足机器人控制策略及其应用研究[D];国防科学技术大学;2009年
5 刘德君;欠驱动行走机器人步态优化与稳定控制[D];吉林大学;2012年
中国硕士学位论文全文数据库 前1条
1 彭自强;基于Q学习和神经网络的双足机器人控制[D];浙江大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 杨柯;;农业机器人触觉技术在土地开垦中的应用[J];安徽农业科学;2006年15期
2 汪雨萌;钱桦;谭月胜;周满平;;五自由度采摘机械臂运动学通用算法应用[J];安徽农业科学;2012年03期
3 彭生祥,李凯;多移动机器人编队行进中的行为分解[J];北京服装学院学报;2004年01期
4 陈志;汪先兵;王璕;刘丽;骆远福;;采用指数积的三自由度机器人运动学方程[J];兵工自动化;2006年05期
5 翟大庆;;气轮机叶片未知曲面的机器人自动搜寻技术[J];兵工自动化;2006年09期
6 张新予;匡以顺;;多自由度墙体喷涂机器人机构设计[J];兵工自动化;2009年06期
7 金晓飞;彭胜军;张瑞永;马宏绪;;小型仿人足球机器人控制系统[J];兵工自动化;2010年02期
8 富宏亚;邵忠喜;路华;刘源;;七自由度纤维铺放机后置处理算法及比较[J];兵工学报;2010年06期
9 陈志翔,黄勇,卢振洋,殷树言;弧焊机器人系统的运动学求解[J];北京工业大学学报;2002年03期
10 刘相术;杨庆东;;基于VC的液下搅拌机器人控制软件的开发[J];北京机械工业学院学报;2006年01期
中国重要会议论文全文数据库 前10条
1 崔博文;陈剑;陈心昭;;工业机器人在噪声测量上的应用研究?[A];2004“安徽制造业发展”博士科技论坛论文集[C];2004年
2 方浩;李路;贾睿;窦丽华;;考虑地面影响因素的轮式机器人轨线跟踪控制联合仿真[A];第二十九届中国控制会议论文集[C];2010年
3 张豫南;王双双;张健;宋杰;;基于虚拟样机的全方位移动平台运动控制研究[A];中国自动化学会控制理论专业委员会C卷[C];2011年
4 刘雪飞;于今;刘伟;;一种新型爬壁机器人结构建模分析与实验研究[A];2010年重庆市机械工程学会学术年会论文集[C];2010年
5 徐德;景奉水;谭民;;基于Linux操作系统的开放式工业机器人实时控制研究[A];钱学森科学贡献暨学术思想研讨会论文集[C];2001年
6 叶金表;张翊;郭隐彪;;焊接自动生产线的控制技术研究[A];福建省科协第五届学术年会数字化制造及其它先进制造技术专题学术年会论文集[C];2005年
7 林晓鹰;;摩托车自动焊接生产系统仿真[A];福建省科协第五届学术年会数字化制造及其它先进制造技术专题学术年会论文集[C];2005年
8 臧庆凯;李春贵;闫向磊;;基于MATLAB的PUMA560机器人运动仿真研究[A];广西计算机学会2010年学术年会论文集[C];2010年
9 杨朝虹;张海珠;;机器人技术的应用与发展[A];先进制造技术论坛暨第五届制造业自动化与信息化技术交流会论文集[C];2006年
10 王少锋;王崴;张进华;洪军;;基于生物力学特性仿人机器人的研究[A];全国先进制造技术高层论坛暨第七届制造业自动化与信息化技术研讨会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 孙建;基于外骨骼机器人技术的人体手臂震颤抑制关键技术研究[D];中国科学技术大学;2010年
2 刘津甦;复杂环境中的人形机器人行走规划[D];中国科学技术大学;2010年
3 刘飞;四足机器人步态规划与平衡控制研究[D];中国科学技术大学;2010年
4 梁桥康;特殊应用的多维力/力矩传感器研究与应用[D];中国科学技术大学;2010年
5 高贯斌;关节臂式坐标测量机自标定方法与误差补偿研究[D];浙江大学;2010年
6 林龙信;仿生水下机器人的增强学习控制方法研究[D];国防科学技术大学;2010年
7 周巍;煤矿井下搜救探测机器人的路径规划及轨迹跟踪控制研究[D];太原理工大学;2011年
8 刘丽梅;被动动态行走双足机器人的稳定性分析与控制研究[D];吉林大学;2011年
9 唐志国;机械臂操作柔性负载系统分布参数建模与控制方法研究[D];吉林大学;2011年
10 李大奇;叶片双面磨抛系统及路径规划研究[D];吉林大学;2011年
中国硕士学位论文全文数据库 前10条
1 汪步云;水下作业机械手抓取力伺服控制的研究[D];安徽工程大学;2010年
2 雷云云;基于被动式四足机器人的运动学及动力学分析[D];山东科技大学;2010年
3 詹峰;井下煤仓清仓机器人机械臂结构设计与新型清仓技术研究[D];山东科技大学;2010年
4 郑灿东;输电线路除冰机器人控制系统的研究[D];山东科技大学;2010年
5 王立;面向非结构化地形的六足步行机器人运动规划研究[D];浙江理工大学;2010年
6 耿东山;基于蚁群算法的机器人全局路径规划[D];郑州大学;2010年
7 娄玉冰;基于“最优激励轨迹”的工业机器人动力学参数辨识研究[D];郑州大学;2010年
8 赵进科;正交三自由度并联机构动力学分析[D];郑州大学;2010年
9 冯立敏;船用吊艇架减摆机理建模与控制研究[D];哈尔滨工程大学;2010年
10 尹继超;机器人遥操作中关键技术的研究[D];哈尔滨工程大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 张佩杰;张冬梅;田彦涛;刘振泽;;欠驱动双足步行机器人动力学建模与稳定性分析[J];北京工业大学学报;2009年02期
2 马国梁,陈庆伟,胡维礼;混合系统:回顾与展望[J];东南大学学报(自然科学版);2003年S1期
3 柳宁;李俊峰;王天舒;;用胞胞映射计算被动行走模型不动点的吸引盆[J];工程力学;2008年10期
4 马宏绪,张彭,张良起;两足步行机器人研究[J];高技术通讯;1995年09期
5 洪炳镕;阮玉峰;高庆吉;朱莹;刘海涛;赵伟;;HIT-Ⅱ型全自主足球机器人硬件系统的设计与实现[J];哈尔滨工业大学学报;2003年09期
6 张永学,麻亮,强文义,付佩琛;基于地面反力的双足机器人期望步态轨迹规划[J];哈尔滨工业大学学报;2001年01期
7 杨智勇;张静;归丽华;张远山;杨秀霞;;外骨骼机器人控制方法综述[J];海军航空工程学院学报;2009年05期
8 丁希仑,战强,解玉文;自由漂浮的空间机器人系统的动力学奇异特性分析及其运动规划[J];航空学报;2001年05期
9 何广平,陆震,王凤翔;欠驱动机器人的动力学耦合奇异研究[J];航空学报;2005年02期
10 郑嫦娥;钱桦;;仿人机器人国内外研究动态[J];机床与液压;2006年03期
中国博士学位论文全文数据库 前7条
1 刘丽梅;被动动态行走双足机器人的稳定性分析与控制研究[D];吉林大学;2011年
2 刘成军;双足机器人欠驱动动态步行仿人运动控制研究[D];重庆大学;2011年
3 刘振泽;欠驱动步行机器人运动学机理与控制策略研究[D];吉林大学;2007年
4 毛勇;半被动双足机器人的设计与再励学习控制[D];清华大学;2007年
5 汤卿;仿人机器人设计及步行控制方法[D];浙江大学;2009年
6 张佩杰;欠驱动双足机器人行走步态建模与动态行走控制策略研究[D];吉林大学;2010年
7 绳涛;欠驱动两足机器人控制策略及其应用研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前6条
1 彭自强;基于Q学习和神经网络的双足机器人控制[D];浙江大学;2012年
2 徐凯;仿人机器人步态规划算法及其实现研究[D];清华大学;2004年
3 绳涛;仿人机器人力信息反馈控制方法研究[D];国防科学技术大学;2004年
4 王华友;混合动力系统优化控制及其在机器人中的应用[D];华中科技大学;2005年
5 张冬梅;欠驱动步行机器人建模与分域控制算法的研究[D];吉林大学;2008年
6 孔艳;船舶动力电力系统仿真及监控界面设计与实现[D];大连海事大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 张永学,麻亮,强文义;基于多传感器信息的双足机器人步行系统的研究[J];高技术通讯;2001年06期
2 张永学,麻亮,强文义,付佩琛;基于地面反力的双足机器人期望步态轨迹规划[J];哈尔滨工业大学学报;2001年01期
3 柯显信,龚振邦,吴家麒;基于遗传算法的双足机器人上楼梯的步态规划[J];应用科学学报;2002年04期
4 I.Kato ,严家杰;双足机器人[J];机械设计与研究;1984年05期
5 王强,纪军红,强文义,傅佩琛;基于自适应模糊逻辑和神经网络的双足机器人控制研究[J];高技术通讯;2001年07期
6 ;机器人、机械手、自动调节、控制与执行机构[J];电子科技文摘;2002年04期
7 谢涛,徐建峰,李霞;神经网络及误差补偿在HIT-Ⅲ双足机器人步态规划中的应用[J];中国机械工程;2003年02期
8 张元波;张奇志;周亚丽;;基于虚拟重力的双足机器人迭代学习控制[J];北京信息科技大学学报(自然科学版);2009年04期
9 刘志远,张铨,傅佩琛,崔平,魏浩田;双足机器人动态行走时踝关节的力矩控制问题[J];机器人;1993年02期
10 崔巍,强文义,陈兴林;双足机器人实时障碍检测视觉系统[J];控制与决策;2004年01期
中国重要会议论文全文数据库 前10条
1 付成龙;王健美;黄元林;陈恳;;基于性能指标图集的双足机器人行走模式规划[A];2007年中国机械工程学会年会论文集[C];2007年
2 张奇志;周亚丽;赵秋玲;戈新生;;双足机器人无源动态行走步态设计的粒子群优化算法[A];庆祝中国力学学会成立50周年暨中国力学学会学术大会’2007论文摘要集(下)[C];2007年
3 冯帅;孙增圻;;基于LIPM的双足机器人变步长行走规划[A];2009年中国智能自动化会议论文集(第五分册)[东南大学学报(增刊)][C];2009年
4 汤哲;孙增圻;;双足机器人的轨迹生成[A];马斯特杯2003年中国机器人大赛及研讨会论文集[C];2003年
5 薛力军;刘国良;麻亮;强文义;;基于新型仿人双足机器人的步态规划研究[A];2003中国控制与决策学术年会论文集[C];2003年
6 杨鹏;孔鑫;赵奇;陈贺;;基于混合编码遗传算法的双足机器人步态规划[A];2006中国控制与决策学术年会论文集[C];2006年
7 胡凌云;孙增圻;;基于模糊逻辑的双足轨迹生成算法[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年
8 李建;陈卫东;王丽军;杨军;李慕君;;不平整地面上双足机器人的步态控制[A];2009年中国智能自动化会议论文集(第五分册)[东南大学学报(增刊)][C];2009年
9 徐心和;曹洋;薛方正;;机器人足球——小型高科技对抗平台[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
10 赵秋玲;周亚丽;张奇志;;双足机器人无源动态行走步态设计的粒子群优化算法[A];2007年中国智能自动化会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 ;Sony QRIO能跑能跳能投的机器人[N];中国计算机报;2004年
2 刘培香;我国首个双足足球机器人问世[N];中国航天报;2004年
3 本报记者 聂翠蓉;我是机器,我像人[N];科技日报;2006年
4 母晓洁;索尼娱乐机器人: 寂寞高手江湖独舞[N];中国电子报;2003年
5 齐渊博;从春节晚会看企业广告得失[N];经理日报;2005年
6 新华社记者 贾永 中央人民广播电台记者 王握文;殷切的关怀 可喜的成就[N];人民日报;2003年
7 本报记者  张亮;机器人比赛对素质教育有哪些启示?[N];科技日报;2006年
8 编译 杨孝文 任秋凌;美幼儿园用机器人作孩子玩伴[N];北京科技报;2006年
9 本报记者  张亮;机器人给我们带来了多少神奇?[N];科技日报;2006年
10 本报记者 刘晖;亲切的新面孔[N];计算机世界;2002年
中国博士学位论文全文数据库 前10条
1 张佩杰;欠驱动双足机器人行走步态建模与动态行走控制策略研究[D];吉林大学;2010年
2 彭胜军;双足机器人跑步运动稳定性分析与协调控制技术研究[D];国防科学技术大学;2011年
3 刘成军;双足机器人欠驱动动态步行仿人运动控制研究[D];重庆大学;2011年
4 敬成林;双足机器人稳定行走的仿人预测控制方法研究[D];重庆大学;2011年
5 朱晓光;双足机器人步态与路径规划研究[D];华北电力大学;2012年
6 周雪峰;六自由度双足机器人步行研究[D];华南理工大学;2011年
7 刘丽梅;被动动态行走双足机器人的稳定性分析与控制研究[D];吉林大学;2011年
8 刘德君;欠驱动行走机器人步态优化与稳定控制[D];吉林大学;2012年
9 毛勇;半被动双足机器人的设计与再励学习控制[D];清华大学;2007年
10 俞志伟;双足机器人拟人步态规划与稳定性研究[D];哈尔滨工程大学;2008年
中国硕士学位论文全文数据库 前10条
1 刘道远;基于Q学习的欠驱动双足机器人行走控制研究[D];浙江大学;2013年
2 吴帅军;欠驱动双足机器人行走步态和控制研究[D];浙江大学;2013年
3 胡金东;双足机器人控制系统结构与伺服控制[D];江南大学;2011年
4 朱道宏;双足机器人步行姿态跟踪控制方法研究[D];西安科技大学;2011年
5 赵正华;双足机器人力传感器仿真及平衡检测研究[D];大连交通大学;2011年
6 彭自强;基于Q学习和神经网络的双足机器人控制[D];浙江大学;2012年
7 杨艳军;双足机器人本体设计及步态规划[D];西华大学;2011年
8 吴飞;双足机器人爬楼梯步态规划与参数优化[D];华中科技大学;2012年
9 宋宪玺;双足机器人的建模与稳定性分析[D];中国科学技术大学;2010年
10 李秀梅;双足机器人仿生足部运动机构研究[D];杭州电子科技大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026