智東西10月20日消息，近日，美國(guó)論文預(yù)印本發(fā)布平臺(tái)arXiv收錄了一篇關(guān)于四足機(jī)器人攔截足球的論文，美國(guó)加州大學(xué)伯克利分校等學(xué)校的研究人員為名叫迷你獵豹的四足機(jī)器人部署了一個(gè)強(qiáng)化學(xué)習(xí)（Reinforcement Learning）框架，能夠讓它完成足球守門任務(wù)。該四足機(jī)器人對(duì)隨機(jī)射門的成功攔截率高達(dá)87.5%，而人類足球運(yùn)動(dòng)員的平均成功率為69%。

▲四足機(jī)器人攔截足球?qū)嶒?yàn)

這項(xiàng)研究通過使用分層次強(qiáng)化學(xué)習(xí)框架，在四足機(jī)器人上結(jié)合了高動(dòng)態(tài)運(yùn)動(dòng)和精確的物體感知方法。四足機(jī)器人在進(jìn)行運(yùn)動(dòng)時(shí)，能用其末端執(zhí)行器跟蹤自身運(yùn)動(dòng)軌跡，并完成一系列的截球動(dòng)作。

(相關(guān)資料圖)

研究人員在麻省理工學(xué)院實(shí)驗(yàn)室進(jìn)行了攔截足球的相關(guān)實(shí)驗(yàn)，并發(fā)表了名為《Creating a Dynamic Quadrupedal Robotic Goalkeeper with Reinforcement Learning（使用強(qiáng)化學(xué)習(xí)創(chuàng)建動(dòng)態(tài)四足機(jī)器人守門員）》的論文，研究實(shí)驗(yàn)展示了四足機(jī)器人能夠有效地?cái)r截快速移動(dòng)的球。

▲論文鏈接：https://arxiv.org/pdf/2210.04435.pdf

01.四足機(jī)器人成為足球守門員，要分“三步走”

如何讓四足機(jī)器人成為足球守門員，這個(gè)問題要分三個(gè)步驟解決：操縱四足機(jī)器人攔截快速移動(dòng)物體、控制四足機(jī)器人進(jìn)行高動(dòng)態(tài)運(yùn)動(dòng)，以及擊中高速運(yùn)動(dòng)的足球。

▲四足機(jī)器人攔截足球過程

1、四足機(jī)器人對(duì)快速移動(dòng)物體的捕捉、打擊

在機(jī)器人操縱領(lǐng)域，人們已經(jīng)廣泛地研究了如何讓機(jī)器人捕捉或擊打快速移動(dòng)的物體這一課題。球是比較常見的用于研究的快速移動(dòng)物體。

處理機(jī)器人接球任務(wù)有兩種常見方法，一是估計(jì)球的位置和速度，利用球的動(dòng)力學(xué)模型預(yù)測(cè)球的軌跡，并根據(jù)機(jī)器人的動(dòng)力學(xué)模型或無模型強(qiáng)化學(xué)習(xí)框架生成機(jī)器人末端執(zhí)行器的軌跡，讓機(jī)器人在預(yù)測(cè)的攔截點(diǎn)接球。另一種方法是在模擬中學(xué)習(xí)端到端的策略，研究人員直接輸入球的預(yù)測(cè)軌跡圖像，然后在模擬中進(jìn)行微調(diào)。

然而，由于四足機(jī)器人動(dòng)力學(xué)模型非常復(fù)雜，以往基于模型的方法需要對(duì)球和機(jī)器人進(jìn)行精確建模，這種方法難以在四足機(jī)器人上應(yīng)用，而無模型強(qiáng)化學(xué)習(xí)框架方法，還沒有被應(yīng)用于控制四足機(jī)器人運(yùn)動(dòng)的先例。

2、四足機(jī)器人通過高動(dòng)態(tài)動(dòng)作攔截足球

近幾年來，因?yàn)樗淖銠C(jī)器人的硬件和控制算法有了長(zhǎng)足的進(jìn)步，四足機(jī)器人能夠在現(xiàn)實(shí)世界中完成高動(dòng)態(tài)的運(yùn)動(dòng)，如跳躍或跑步。實(shí)現(xiàn)這一目標(biāo)共有兩種方法：

一種方法是利用四足機(jī)器人動(dòng)力學(xué)模型的優(yōu)化控制框架，這些模型可以在四足機(jī)器人的全部模型上進(jìn)行離線優(yōu)化，也可以在其簡(jiǎn)化模型上進(jìn)行在線部署。

另一種方法是利用無模型強(qiáng)化學(xué)習(xí)框架，先在模擬中通過跟蹤和錯(cuò)誤訓(xùn)練四足機(jī)器人，然后把其學(xué)習(xí)經(jīng)驗(yàn)轉(zhuǎn)移到真實(shí)的四足機(jī)器人上。

然而，以前的研究大多只關(guān)注特定的動(dòng)態(tài)運(yùn)動(dòng)技能，比如跑步、跳躍等，而沒有讓四足機(jī)器人在學(xué)習(xí)技能的基礎(chǔ)上，完成更豐富的動(dòng)作，如在跟蹤不同的擺腿軌跡時(shí)完成跳躍，并攔截一個(gè)球。

▲四足機(jī)器人守門員防守人類進(jìn)攻

3、四足機(jī)器人能在三維和高速運(yùn)動(dòng)下完成攔截

開發(fā)未來能與人類在足球比賽中競(jìng)爭(zhēng)的機(jī)器人一直是機(jī)器人研究學(xué)界的一個(gè)長(zhǎng)久目標(biāo)，在設(shè)計(jì)機(jī)器人足球守門員方面，有一些研究是在工程學(xué)的輪式機(jī)器人的基礎(chǔ)之上進(jìn)行開發(fā)。

以前關(guān)于四足機(jī)器人的研究，大多只考慮讓它們?cè)诙S平面內(nèi)移動(dòng)并攔截從地面上低速滾動(dòng)的球，而沒有考慮讓四足機(jī)器人在三維中和高速運(yùn)動(dòng)情況下去攔截球。

最近，利用強(qiáng)化學(xué)習(xí)框架，一個(gè)四足機(jī)器人展示了在低速行走時(shí)將足球運(yùn)往球門的能力，另一個(gè)四足機(jī)器人能在站立時(shí)用單一的射擊技能，將足球精確地射向一個(gè)隨機(jī)的給定目標(biāo)。然而，四足機(jī)器人進(jìn)行多種高動(dòng)態(tài)運(yùn)動(dòng)技能，去精確踢快速移動(dòng)的足球還沒有得到證明。

02.強(qiáng)化學(xué)習(xí)框架，讓四足機(jī)器人攔截成功率高達(dá)87.5%

研究實(shí)驗(yàn)是在麻省理工學(xué)院的迷你獵豹四足機(jī)器人上進(jìn)行的。它重9公斤，高0.4米，有12個(gè)驅(qū)動(dòng)電機(jī)和6個(gè)自由度的浮動(dòng)底座，能夠進(jìn)行平移、滾動(dòng)和俯仰等動(dòng)作。

▲迷你獵豹四足機(jī)器人

以往的四足機(jī)器人的強(qiáng)度學(xué)習(xí)框架主要集中在低層次的運(yùn)動(dòng)控制研究，如計(jì)算行走速度或模仿參照物運(yùn)動(dòng)等，沒有將學(xué)到的運(yùn)動(dòng)技能擴(kuò)展到更高層次的任務(wù)，比如讓四足機(jī)器人通過敏捷的動(dòng)作去精確攔截快速移動(dòng)的足球。

▲四足機(jī)器人攔截足球?qū)嶒?yàn)設(shè)計(jì)

研究人員在論文中寫道：“將低層次運(yùn)動(dòng)控制和高層次精確攔截結(jié)合起來，這很有挑戰(zhàn)性，單獨(dú)研究其中一種就已經(jīng)很困難了?！?/p>

為了解決上述問題，研究人員提出了一個(gè)無模型的強(qiáng)化學(xué)習(xí)框架，將四足機(jī)器人動(dòng)態(tài)的腿部運(yùn)動(dòng)和快速、精確的部分手臂操縱結(jié)合起來，以應(yīng)對(duì)飛來的球。

▲強(qiáng)化學(xué)習(xí)框架

該框架共包含兩個(gè)部分，第一部分是低層次的運(yùn)動(dòng)控制，包含了跳躍、俯沖和側(cè)身等不同運(yùn)動(dòng)技能的多種控制策略，這些策略可以覆蓋球門的不同區(qū)域。每個(gè)控制策略都能使四足機(jī)器人在執(zhí)行一種特定的運(yùn)動(dòng)技能時(shí)，跟蹤末端效應(yīng)器，記錄其運(yùn)動(dòng)軌跡。

第二部分是一個(gè)高級(jí)規(guī)劃器，它能夠確定末端效應(yīng)器軌跡和決定所需的技能，從而攔截飛向球門不同區(qū)域的球。

在麻省理工學(xué)院的實(shí)驗(yàn)證明，多技能強(qiáng)化學(xué)習(xí)框架明顯優(yōu)于以往基于模型的計(jì)劃器，并且能夠充分地利用每種技能的特殊性。

分層次的強(qiáng)化學(xué)習(xí)框架可以直接將四足機(jī)器人在模擬中學(xué)習(xí)到的動(dòng)態(tài)動(dòng)作和守門員的技能轉(zhuǎn)移到現(xiàn)實(shí)中的四足機(jī)器人上，實(shí)驗(yàn)中的四足機(jī)器人對(duì)隨機(jī)射門的成功攔截率為87.5%，而人類足球運(yùn)動(dòng)員的平均成功率為69%。

03.多技能組合，促四足機(jī)器人快速動(dòng)態(tài)反應(yīng)

因?yàn)榍虻膹椀揽倳r(shí)間通常在1秒以內(nèi)，所以四足機(jī)器人需要快速反應(yīng)。從球門中間的初始站立姿勢(shì)開始，四足機(jī)器人需要執(zhí)行非常動(dòng)態(tài)的機(jī)動(dòng)動(dòng)作來攔截球。受到人類守門員的啟發(fā)，研究人員提出了一套攔截飛向球門不同區(qū)域的球的技能——側(cè)身、俯沖和跳躍。

▲側(cè)身、俯沖和跳躍示意圖

1、快速側(cè)部攔截，無法覆蓋球門下角、上部區(qū)域

當(dāng)球在地上滾動(dòng)或以低角度飛向球門時(shí)，四足機(jī)器人采取快速側(cè)步，在橫向方向上攔截球。在只需要邁開較小步幅時(shí)，四足機(jī)器人可能只需要擺動(dòng)起一條前腿，而其余的腿可以使其保持在站立狀態(tài)。但對(duì)于較大的步幅，它需要進(jìn)行一個(gè)小的側(cè)跳。然而，側(cè)跳技能可能無法覆蓋離四足機(jī)器人較遠(yuǎn)的區(qū)域，如球門的下角或上部區(qū)域。

▲四足機(jī)器人在使用側(cè)身技能

2、俯沖技能一氣呵成，轉(zhuǎn)移重心、轉(zhuǎn)動(dòng)身體、跳躍夠球

俯沖技能是基于四足跳躍之上的運(yùn)動(dòng)，它使得四足機(jī)器人可以攔截更大的球門面積。在使用俯沖技能時(shí)，四足機(jī)器人應(yīng)首先將身體重心移至后腿上，然后朝著球的運(yùn)動(dòng)方向轉(zhuǎn)動(dòng)身體，在跳躍的同時(shí)伸出兩條前腿去夠球，最后落地。在俯沖過程中，它的后腿是否離開地面，取決于它需要走多遠(yuǎn)。俯沖技能使四足機(jī)器人能夠迅速封鎖球門的下角。

▲四足機(jī)器人在使用俯沖技能

3、跳躍攔截高處足球，還能穩(wěn)定降落

跳躍與俯沖技能類似，跳躍技能也要求四足機(jī)器人以最快的速度抬起身體并向上擺動(dòng)前腿。但在跳躍時(shí)，它還需要將其前腿伸得更高，以便攔截在球門上部區(qū)域的球。為了進(jìn)行這種動(dòng)態(tài)跳躍，四足機(jī)器人需要用它的后腿將身體推離地面，以便讓它的前腿夠到更高區(qū)域。在球被攔截后，四足機(jī)器人需要在空中重新調(diào)整自己，以達(dá)到更穩(wěn)定的降落姿勢(shì)。

▲四足機(jī)器人在使用跳躍技能

04.結(jié)語：強(qiáng)化學(xué)習(xí)框架未來，可應(yīng)用于更多場(chǎng)景

近年來，機(jī)器人應(yīng)用研究在不斷擴(kuò)展，本篇論文為機(jī)器人研究學(xué)界提供了一個(gè)新的四足機(jī)器人研究方向，將分層次的強(qiáng)化學(xué)習(xí)框架應(yīng)用到驅(qū)動(dòng)控制方面，或許對(duì)未來四足機(jī)器人的高級(jí)規(guī)劃控制產(chǎn)生重要意義。

此外，在這項(xiàng)研究中，研究人員只關(guān)注了守門員的工作，但論文所提出的框架可以擴(kuò)展到其他的場(chǎng)景，比如說多技能足球等。如果未來該強(qiáng)化學(xué)習(xí)模型能夠成功應(yīng)用，讓機(jī)器人與人類運(yùn)動(dòng)員進(jìn)行足球比賽的想法或許真的能夠?qū)崿F(xiàn)。

來源：TechCrunch、arXiv

關(guān)鍵詞： 強(qiáng)化學(xué)習(xí) 快速移動(dòng) 研究人員