美國(guó)當(dāng)?shù)貢r(shí)間周一，F(xiàn)acebook聯(lián)合創(chuàng)始人、Meta現(xiàn)任首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）表示，一種新的觸摸傳感器和類似皮膚的塑料材料可以協(xié)同工作，可能有助于實(shí)現(xiàn)元宇宙雄心。

Meta的人工智能（AI）研究人員與卡內(nèi)基梅隆大學(xué)的科學(xué)家共同創(chuàng)造了一種厚度不到3毫米的可變形塑料“皮膚”。這種相對(duì)便宜的材料被稱為Reskin，它的內(nèi)部有磁性顆粒，可以產(chǎn)生磁場(chǎng)。當(dāng)這種皮膚與另一個(gè)表面接觸時(shí)，嵌入顆粒的磁場(chǎng)會(huì)發(fā)生變化。傳感器記錄磁通量的變化，然后將數(shù)據(jù)提供給AI軟件，該軟件試圖理解已經(jīng)施加的力或觸感。

利用機(jī)器學(xué)習(xí)和磁感應(yīng)，Reskin旨在為長(zhǎng)期使用提供廉價(jià)、多功能、耐用和可更換的解決方案，采用無(wú)監(jiān)督學(xué)習(xí)算法來(lái)幫助自動(dòng)校準(zhǔn)傳感器。扎克伯格在Facebook頁(yè)面上寫(xiě)道：“我們?cè)O(shè)計(jì)出了高分辨率的觸摸傳感器，并與卡內(nèi)基梅隆大學(xué)合作，創(chuàng)造了一種薄薄的機(jī)器人皮膚。這讓我們離元宇宙中真實(shí)的虛擬物體和物理互動(dòng)更近了一步?！?/p>

這種皮膚已經(jīng)在機(jī)器人身上進(jìn)行了測(cè)試，這些機(jī)器人負(fù)責(zé)處理包括葡萄和藍(lán)莓在內(nèi)的軟水果。AI系統(tǒng)必須接受100次人類觸摸的訓(xùn)練，以確保它有足夠的數(shù)據(jù)來(lái)理解磁場(chǎng)變化與觸摸之間的關(guān)系。

除了Reskin，Meta還概述了在開(kāi)發(fā)用于觸摸傳感的硬件、模擬器、庫(kù)、基準(zhǔn)和數(shù)據(jù)集方面取得的更廣泛進(jìn)展。該公司表示，這構(gòu)成了可以通過(guò)觸摸理解和互動(dòng)的人工智能系統(tǒng)的基礎(chǔ)。

Meta研究科學(xué)家羅伯托·卡蘭德拉(Roberto Calandra)和硬件工程師邁克·蘭貝塔(Mike Lambeta)在一篇博客文章中表示：“我們通常認(rèn)為觸摸是傳遞溫暖和關(guān)懷的一種方式，但它也是感知我們周圍世界的一種關(guān)鍵感知方式。觸摸為我們提供了通過(guò)任何其他感覺(jué)無(wú)法辨別的信息，例如關(guān)于物質(zhì)的溫度、質(zhì)地和重量，有時(shí)甚至是關(guān)于其狀態(tài)的信息?！?/p>

Meta的研究科學(xué)家阿比納夫·古普塔(Abhinav Gupta)在媒體電話會(huì)議上表示，觸摸在很大程度上被AI研究人員忽視了，因?yàn)橛|摸傳感器太昂貴或太脆弱，無(wú)法獲得可靠的數(shù)據(jù)。古普塔說(shuō)：“如果你想想人類或嬰兒是如何學(xué)習(xí)的，豐富的多模態(tài)數(shù)據(jù)對(duì)發(fā)展對(duì)世界的理解至關(guān)重要。我們正在從像素、聲音、觸覺(jué)、味覺(jué)、嗅覺(jué)等方面學(xué)習(xí)。”

他補(bǔ)充說(shuō)：“但如果你看看AI在過(guò)去十年中取得的進(jìn)步，你會(huì)發(fā)現(xiàn)我們?cè)谙袼?計(jì)算機(jī)視覺(jué))方面取得了巨大進(jìn)步，我們?cè)诼曇舴矫嬉踩〉昧诉M(jìn)步，音頻、語(yǔ)音等方面也是如此。但在這一發(fā)展過(guò)程中卻缺少了觸覺(jué)，盡管接觸非常重要?！?/p>

古普塔解釋稱，幫助機(jī)器和機(jī)器人助理感知將使它們能夠理解人類在做什么。Meta的Reskin可以探測(cè)到來(lái)自小于1毫米寬的物體的力，最小可達(dá)0.1牛頓。他說(shuō)：“我們可以第一次嘗試更好地理解物體背后的物理原理，這將有助于Meta構(gòu)建元宇宙的探索?！?/p>

元宇宙要么是互聯(lián)網(wǎng)的下一次進(jìn)化，要么是讓投資者對(duì)某些模糊的創(chuàng)新感到興奮的最新企業(yè)流行語(yǔ)，這些創(chuàng)新可能在未來(lái)10年內(nèi)都不會(huì)出現(xiàn)。

但無(wú)論哪種方式，科技公司(主要是Meta)都在越來(lái)越多地推廣元宇宙的概念，指的是人們可以在里面生活、工作和娛樂(lè)的虛擬世界。如果你看過(guò)電影《頭號(hào)玩家》(Ready Player One)，你會(huì)很清楚元宇宙是什么：戴上計(jì)算機(jī)化的眼鏡，你就被帶進(jìn)了數(shù)字世界，在那里一切皆有可能。

如果Meta的元宇宙雄心能夠?qū)崿F(xiàn)，那么它就有可能與虛擬物體互動(dòng)，并從一塊硬件上獲得某種物理響應(yīng)。古普塔說(shuō)：“當(dāng)你戴著Meta頭盔時(shí)，你也希望能提供一些觸覺(jué)，這樣用戶就能感受到更豐富的體驗(yàn)。除非你知道人的觸覺(jué)是什么，或者材料的特性是什么等等，否則你怎么能提供準(zhǔn)確的觸覺(jué)反饋呢？”

觸覺(jué)研究歷史

觸覺(jué)感知是機(jī)器人學(xué)中的一個(gè)新興領(lǐng)域，旨在理解和復(fù)制物理世界中人類水平的觸摸。其目標(biāo)是通過(guò)使機(jī)器人能夠在從家里到工廠車間的環(huán)境中自主學(xué)習(xí)和使用觸摸，從而使機(jī)器人變得更高效、更安全、更溫和。

Meta在過(guò)去的幾年里一直在開(kāi)發(fā)觸覺(jué)傳感器，主要專注于機(jī)器人抓取的任務(wù)。2020年，該公司的研究人員詳細(xì)介紹了Digit，這是一種高分辨率、低成本、緊湊的觸覺(jué)傳感器，設(shè)計(jì)成可以安裝在多指機(jī)器人手上。

Digit的塑料機(jī)身帶有外殼，既有利于3D打印，也有利于注塑成型。三個(gè)RGB LED在彈性體凝膠表面提供照明，該表面是采用硅丙制造工藝定制設(shè)計(jì)的，表面上平衡了堅(jiān)固性和敏感度。攝像頭和凝膠通過(guò)“壓配合”連接安裝在機(jī)身上，這樣任何部件都可以換出，外殼可以更換，以適應(yīng)不同的鏡頭焦距。

在實(shí)驗(yàn)中，研究小組利用Digit使機(jī)器人手能夠握住并操縱拇指和中指之間的玻璃彈珠。在50次試驗(yàn)過(guò)程中，這只手掉下彈珠的幾率約為25%。然而，研究人員將其歸因于數(shù)據(jù)不準(zhǔn)確和噪音所致，而不是數(shù)字設(shè)計(jì)上的缺陷。

去年6月，Digit的塑料外殼、凝膠和電子產(chǎn)品的制造文件以及用于編程的固件二進(jìn)制文件在GitHub上開(kāi)源。Meta如今宣布，它將與麻省理工學(xué)院的子公司GelSight合作，開(kāi)始商業(yè)化生產(chǎn)Digit。

古普塔和博士后研究員苔絲·赫勒布雷克斯(Tess Hellebrekers)表示，Reskin背后的目標(biāo)是提供一個(gè)聯(lián)系數(shù)據(jù)來(lái)源，有助于在一系列基于觸摸的任務(wù)(如物體分類)中推動(dòng)AI的發(fā)展。通過(guò)使用Reskin開(kāi)發(fā)的具有觸覺(jué)感知技能的AI模型可能會(huì)在醫(yī)療保健環(huán)境中工作，或者抓住柔軟的物體。由于Reskin可以與其他傳感器集成，以收集視覺(jué)、聲音和觸覺(jué)數(shù)據(jù)，并創(chuàng)建多模式數(shù)據(jù)集，因此Reskin還可以幫助構(gòu)建比以前更逼真的世界模型。

古普塔和赫勒布雷克斯表示：“觸覺(jué)幫助我們駕馭周圍的世界。有了它，我們可以收集物體的信息，比如它們是輕是重，是軟是硬，是穩(wěn)定還是不穩(wěn)定，我們用這些信息來(lái)完成從穿鞋到做飯的日常任務(wù)。今天的AI有效地融合了視覺(jué)和聲音等感官，但觸摸仍然是個(gè)持續(xù)的挑戰(zhàn)。這在一定程度上是由于對(duì)外部觸覺(jué)傳感數(shù)據(jù)的訪問(wèn)有限。因此，希望將觸覺(jué)融入他們模型的AI研究人員很難像人類那樣利用觸覺(jué)感知的豐富性和冗余性?！?/p>

Reskin是一種嵌入磁性顆粒的可變形彈性體，價(jià)格甚至更低，100個(gè)單位的生產(chǎn)成本不到6美元。它的厚度只有2毫米到3毫米，可以進(jìn)行5萬(wàn)多次互動(dòng)，這使得Reskin非常適合機(jī)器人手、觸覺(jué)手套、手臂袖子甚至狗鞋等各種工具。Reskin還可以為快速操作任務(wù)提供高頻三軸觸覺(jué)信號(hào)，如滑行、投擲、接球和拍手。當(dāng)它磨損時(shí)，可以很容易地被剝掉更換。

克服重重挑戰(zhàn)

值得注意的是，無(wú)論是Digit還是Reskin都不是同類產(chǎn)品中的首個(gè)觸敏傳感器。其他公司，包括OmniTact和GelFlex，后者是麻省理工學(xué)院計(jì)算機(jī)科學(xué)和AI實(shí)驗(yàn)室的機(jī)器人抓手，擁有微妙的、類似人類的感官，由LED和兩個(gè)攝像頭組成。新加坡國(guó)立大學(xué)也使用英特爾的原型芯片開(kāi)發(fā)了觸摸感應(yīng)機(jī)器人“皮膚”。

但從歷史上看，被稱為“軟皮膚”的傳感材料很難大規(guī)模生產(chǎn)，因?yàn)樗鼈冊(cè)谑褂眠^(guò)程中會(huì)發(fā)生變化。每個(gè)傳感器都必須經(jīng)過(guò)校準(zhǔn)程序來(lái)確定其各自的響應(yīng)。更大的挑戰(zhàn)在于，材料會(huì)隨著時(shí)間的推移而變化，而且會(huì)有所不同，這取決于它們的使用方式。這意味著，校準(zhǔn)本身也必須適應(yīng)這些變化。

Reskin消除了軟材料和測(cè)量電子設(shè)備之間的電氣連接，從而克服了這些障礙。傳感器的磁信號(hào)依賴于位置鄰近，畢竟電子設(shè)備只需要在附近，而不是連接在一起。除此之外，Reskin利用對(duì)來(lái)自多個(gè)來(lái)源的數(shù)據(jù)進(jìn)行訓(xùn)練的映射函數(shù)，使其比傳統(tǒng)的映射函數(shù)更具概括性和“健壯性”。傳感器使用無(wú)監(jiān)督模型，使用少量未標(biāo)記的數(shù)據(jù)自動(dòng)、連續(xù)地進(jìn)行微調(diào)。

在無(wú)監(jiān)督學(xué)習(xí)的情況下，算法將受到“未知”數(shù)據(jù)的影響，這些數(shù)據(jù)不存在先前定義的類別或標(biāo)簽。這與監(jiān)督學(xué)習(xí)相反，這種情況下，算法在為特定輸出注釋的輸入數(shù)據(jù)上進(jìn)行訓(xùn)練，直到它們能夠檢測(cè)到潛在的關(guān)系。像那些運(yùn)行在Reskin上的無(wú)監(jiān)督機(jī)器學(xué)習(xí)系統(tǒng)必須自學(xué)對(duì)未標(biāo)記的數(shù)據(jù)進(jìn)行分類，處理數(shù)據(jù)不是從注釋中學(xué)習(xí)，而是從數(shù)據(jù)的內(nèi)在結(jié)構(gòu)中學(xué)習(xí)。

古普塔和赫勒布雷克斯解釋稱：“我們可以使用未標(biāo)記數(shù)據(jù)的相對(duì)位置來(lái)幫助微調(diào)傳感器的校準(zhǔn)，而不是提供地面真實(shí)作用力標(biāo)簽。例如，我們知道在三個(gè)接觸點(diǎn)中，身體距離較近的兩個(gè)接觸點(diǎn)會(huì)有更相似的觸覺(jué)信號(hào)?！笨偠灾?，Reskin開(kāi)辟了一系列多功能、可擴(kuò)展和廉價(jià)的觸覺(jué)感覺(jué)模塊，這是現(xiàn)有系統(tǒng)所不可能實(shí)現(xiàn)的?，F(xiàn)有的基于攝像頭的觸覺(jué)傳感器需要表面和攝像頭之間的最小距離，導(dǎo)致設(shè)計(jì)更加笨重。相比之下，Reskin可以作為覆蓋在人類和機(jī)器人手和手臂上的皮膚材料使用。

實(shí)際應(yīng)用

為了證明Reskin的實(shí)用性，F(xiàn)acebook的研究人員進(jìn)行了幾項(xiàng)實(shí)驗(yàn)，表明它可以應(yīng)用于手部操作、接觸定位和其他測(cè)力任務(wù)。例如，Meta的研究人員通過(guò)將Reskin和電路板放在狗鞋的鞋底內(nèi)，使用Reskin來(lái)跟蹤狗在休息、散步和跑步過(guò)程中施加的力的大小和方向。

古普塔和赫勒布雷克斯稱：“我們對(duì)可推廣的觸覺(jué)感知的研究促使Reskin成為現(xiàn)實(shí)，這種皮膚成本低，結(jié)構(gòu)緊湊，耐用。皮膚很容易更換，就像剝皮和換上新繃帶一樣，它可以立即使用，我們的學(xué)習(xí)模型在使用新皮膚時(shí)表現(xiàn)得很好。這是一個(gè)強(qiáng)大的工具，可以幫助研究人員構(gòu)建AI模型，為多樣化的應(yīng)用提供動(dòng)力。”

為了支持Digit和Reskin這樣的硬件，Meta今年夏天開(kāi)源了Tacto和PyTouch，這是一個(gè)用于PyTorch機(jī)器學(xué)習(xí)框架的庫(kù)。Tacto是基于視覺(jué)的觸覺(jué)傳感器的模擬器，而PyTouch是用于觸摸傳感的機(jī)器學(xué)習(xí)模型和功能的集合。

Tacto可以每秒數(shù)百幀的速度呈現(xiàn)觸摸讀數(shù)，并且可以配置成模擬不同的傳感器，包括Meta自己的數(shù)字。模擬器在機(jī)器人原型制作、調(diào)試和基準(zhǔn)測(cè)試中扮演著重要的角色，因?yàn)樗鼈冊(cè)试S在不需要執(zhí)行昂貴實(shí)驗(yàn)的情況下進(jìn)行測(cè)試。古普塔和赫勒布雷克斯說(shuō)：“除了能夠在模擬中更快地運(yùn)行實(shí)驗(yàn)的好處之外，在觸覺(jué)傳感中，獲得合適的硬件以及減少硬件表面的磨損使得模擬在觸摸傳感中變得更加重要?！?/p>

至于PyTouch，它為傳感器提供了基本功能，如檢測(cè)觸摸和滑動(dòng)，以及估計(jì)物體姿勢(shì)。該計(jì)劃是將其與真實(shí)世界的傳感器和Tacto相結(jié)合，以實(shí)現(xiàn)模型的驗(yàn)證以及“Sim2Real”功能，后者將模擬訓(xùn)練的概念轉(zhuǎn)化為現(xiàn)實(shí)世界應(yīng)用的能力。Meta還設(shè)想，PyTouch可以讓機(jī)器人社區(qū)使用專門用于觸摸感知的模型“作為服務(wù)”，研究人員可以連接傳感器，下載預(yù)先訓(xùn)練好的模型，并將其用作應(yīng)用程序的構(gòu)建塊。

古普塔和赫勒布雷克斯稱：“我們目前正在研究Sim2Real Transfer，用于在模擬中訓(xùn)練PyTouch模型，并將其部署在真實(shí)傳感器上，以此作為快速收集數(shù)據(jù)集和訓(xùn)練模型的一種方式。在模擬中，收集包含大量數(shù)據(jù)的大規(guī)模數(shù)據(jù)集可以在幾分鐘內(nèi)完成，而用真正的傳感器收集數(shù)據(jù)需要時(shí)間和人力來(lái)物理探測(cè)物體。最后，我們計(jì)劃探索Real2Sim方法，從真實(shí)數(shù)據(jù)中更好地調(diào)整模擬器?！?/p>

在觸覺(jué)感知方面有一長(zhǎng)串障礙需要克服，包括硬件限制，缺乏對(duì)哪些觸摸功能用于特定任務(wù)的理解，以及缺乏廣泛接受的基準(zhǔn)測(cè)試。但Meta斷言，觸覺(jué)方面的改進(jìn)，無(wú)論多么緩慢，都可以幫助推進(jìn)AI發(fā)展，并使研究人員能夠制造具有增強(qiáng)功能的機(jī)器人。

作為邁向這一目標(biāo)的一小步，該公司已經(jīng)發(fā)布了Reskin的設(shè)計(jì)、文檔、代碼和基礎(chǔ)模型，以幫助研究人員使用傳感器，而不必收集或訓(xùn)練自己的數(shù)據(jù)集。卡蘭德拉和蘭貝塔說(shuō)：“它還可以釋放AR/VR的可能性，并帶動(dòng)工業(yè)、醫(yī)療和農(nóng)業(yè)機(jī)器人領(lǐng)域的創(chuàng)新。我們正在努力實(shí)現(xiàn)這樣的未來(lái)：每個(gè)機(jī)器人都可能配備觸摸感應(yīng)功能?！?/p>

本文來(lái)自“騰訊科技”，審校：金鹿，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 雄心 新材料 傳感器