基于再励学习的被动动态步行机器人

仅为获得积分,敬请作者原谅。 内容为被动动态机器人的自我学习方法和设计。

!曼曼堕!!!!:!!§4

CN1

清华大学学报(自然科学版)2008年第48卷第1期

JTsinghuaUniv(Sei&Tech),2008,V01.48,No.1

25/41

92—96

1-2223/N

基于再励学习的被动动态步行机器人

勇,

实,

王家廒,

贾培发,

杨泽红,

丘振

(清华大学计算机科学与技术系,智能技术与系统国家重点实验室,北京100084)

摘要:为了研究仿人、能量高效的双足机器人步行,研制了由MACCEPA(mechanicallyadjustable

compliance

and

controllableequilibriumposition

actuator)柔性驱动器驱动

的半被动双足机器人,并实现了其动力学仿真系统。提出一种基于再励学习的步行控制方法.该方法首先采用Q一学习方法学习机器人在理想环境中的稳定步行步态及其控制策略,然后将此步态和控制策略作为模糊优胜学习方法的参考步态和参考控制策略并在线学习模糊网络的优胜值参数。仿真结果表明:利用学习训练的结果控制柔性驱动器在步行相转换时的动作,机器人可以实现稳定动态步行。关键词:机器人,双足机器人I被动动态步行I再励学习中图分类号:TP

242

文献标识码:A

文章编号:1000—0054(2008)01—0092—05

Reinforcementlearningforpassive

dynamicwalkingrobot

MAO

Yong,LI

Shi,WANGJiaxin,JIAPeifa,

YANGZehong,Qiu

Zhen

(State

KeyLaboratoryofIntelligentTechnologyand

Systems,

Department

of

ComputerScience

and

Technology,

Tsinghua

University。Beijing100084,China)

Abstract:Aquasi—passive

dynamicwalkingrobot

was

builttOstudynatural,energy—efficient

bipedwalking.Therobot

was

actuatedbymechanically

adjustablecomplianceandcontrollable

equilibrium

position

actuators(MACCEPA).Areinforcementlearning

based

methodwas

used

tO

contr01therobot

tO

walk.The

methodfirstly

learnedthedesiredgaitforwalkinginidealenvironmentwith

gait

modelbasedQ-learningalgorithm.Then,afuzzyadvantagelearning

method

wasused

tO

teachtherobottO

walk

in

uneven

floor.Stable

walkingoftherobotisachieved

by

using

thelearningresult

tO

controlthe

action

ofthe

actuators

when

changes

Occur

in

thewalkingphase.Theeffectivenessofthemethod

wasverified

by

simulations.

Key

words:robots,biped

robots

lpassivedynamicwalkingl

reinforcementlearning

被动动态步行是双足步行机器人领域的一个重要研究方向。传统的双足机器人主要采用基于ZMP

万 

方数据(zeromomentpoint)稳定判据的轨迹规划和轨迹跟

踪控制方法实现稳定步行。复杂的控制和驱动系统不仅造成了此类机器人的能量效率低下,而且不利于研究双足步行的本质特征[1]。不同于传统的双足机器人,被动双足机器人不采用轨迹跟踪控制,它强调充分利用机器人自身的自然动力学特性实现仿人、能量高效的双足步行。随着被动动态步行研究的深入,所研制的机器人已经从最初完全依靠重力的纯被动双足机器人[21发展到部分自由度主动驱动的半被动双足机器人¨J。

本文研制了一种由MACCEPA(mechanically

adjustablecomplianceandcontrollableequilibrium

position

actuator)柔性驱动器驱动的半被动双足机

器人Achilles,并实现了其动力学仿真。为了控制机器人的稳定步行,提出一种基于再励学习的方法。此方法由2步组成,首先利用Q一学习方法学习机器人在无扰动平坦地形中的步态和控制策略。然后,将此结果作为模糊优胜学习方法的参考步态和参考控制

策略,同时,将机器人步行过程中的状态误差作为模糊网络的输入,在线学习优胜参数集合,从而控制机器人实现了非平坦地形中的稳定动态步行。

1半被动双足机器人

1.1机器人原型

Achilles机器人原型如图1所示,高为0.95m,重约2.7kg。它由上体和双腿组成,每腿包含大腿、小腿和圆弧足。两腿的膝关节和髋关节分别由MACCEPA[41驱动器驱动,共4个主动驱动关节。为了简化机器人的控制,机械结构上包含了一些特殊设计。包括在上体引入了一种bisecting协调机构,

收稿日期:2006.10-18

耋翥姜萎0呈姜:赫?’湖南’博士研究生

E—mil:。。j@mail.t8i。gh。a.ed。.cn

Word文档免费下载Word文档免费下载:基于再励学习的被动动态步行机器人 (共8页,当前第1页)

你可能喜欢

  • 机器人研究
  • 步行机器人控制
  • 直流斩波
  • 机器人系统
  • 机器人发展
  • 看懂电路图
  • 双足机器人
  • 卫星姿态控制

基于再励学习的被动动态步行机器人相关文档

最新文档

返回顶部