智東西11月3日消息，昨天，扎克伯格在Facebook賬號(hào)中表示，Meta（Facebook公司新名稱）發(fā)布了一款觸摸感應(yīng)“皮膚”ReSkin，由該公司的研究人員與美國(guó)卡內(nèi)基梅隆大學(xué)共同研究。

ReSkin利用機(jī)器學(xué)習(xí)和磁感應(yīng)，采用無(wú)監(jiān)督學(xué)習(xí)算法來(lái)幫助自動(dòng)校準(zhǔn)觸摸傳感器，提供了一種廉價(jià)、多功能、耐用且可替換的長(zhǎng)期使用解決方案。

扎克伯格談道，ReSkin已經(jīng)被放在多種應(yīng)用場(chǎng)景中實(shí)驗(yàn)，例如，研究人員將ReSkin和電路板放在狗鞋的鞋底，跟蹤狗在休息、行走和跑步過(guò)程中施加的力的大小和方向?！八€可以解鎖AR、VR的可能性，并引領(lǐng)工業(yè)、醫(yī)療和農(nóng)業(yè)機(jī)器人技術(shù)的創(chuàng)新?！盡eta研究科學(xué)家說(shuō)。

▲佩戴在狗腳上的ReSkin（圖片來(lái)源為Meta）

除了ReSkin，Meta還概述了觸覺(jué)感知領(lǐng)域在開(kāi)發(fā)硬件、模擬器、數(shù)據(jù)集和用于觸摸感應(yīng)測(cè)試的基準(zhǔn)方面已經(jīng)取得進(jìn)步。該公司表示，已經(jīng)形成了AI系統(tǒng)通過(guò)觸摸進(jìn)行理解和互動(dòng)的基礎(chǔ)。

另外，Meta開(kāi)源了ReSkin的設(shè)計(jì)、數(shù)據(jù)文檔、代碼和基礎(chǔ)模型，幫助其他研究人員更快使用該傳感器，進(jìn)一步推動(dòng)觸覺(jué)傳感器發(fā)展，并促進(jìn)AI行業(yè)的應(yīng)用落地。

01.從18mm到2mm，Meta數(shù)字皮膚大進(jìn)化

“我們通常認(rèn)為觸摸是一種傳達(dá)溫暖和關(guān)懷的方式，但它也是我們感知周圍世界的關(guān)鍵方式?！盋alandra和Lambeta說(shuō)，“觸覺(jué)為我們提供了無(wú)法通過(guò)任何其他感官辨別的信息，例如關(guān)于物質(zhì)的溫度、質(zhì)地和重量，有時(shí)甚至是它的狀態(tài)?！?/p>

“觸覺(jué)幫助我們?cè)谥車氖澜缰小畬?dǎo)航’。有了它，我們可以收集關(guān)于物體的信息，例如它們是輕還是重、軟還是硬、穩(wěn)定還是不穩(wěn)定，我們還可以使用觸覺(jué)來(lái)完成從穿鞋到準(zhǔn)備飯菜的日常任務(wù)?！盡eta研究員經(jīng)理Abhinav Gupta和博士后研究員Tess Hellebrekers表示。

觸覺(jué)傳感是機(jī)器人技術(shù)中的一個(gè)新興領(lǐng)域，旨在理解和復(fù)制物理世界中人類級(jí)別的觸摸，在家庭到工廠車間等環(huán)境中，能夠讓機(jī)器人學(xué)習(xí)和使用自己的“觸覺(jué)”，從而使機(jī)器人更高效、更安全、更溫和。

過(guò)去幾年，Meta一直在開(kāi)發(fā)觸覺(jué)傳感器，主要專注于機(jī)器人抓取任務(wù)。2020年，Meta已經(jīng)推出一種高分辨率、低成本的小型觸覺(jué)傳感器Digit，可以安裝在多指機(jī)器人手上。

▲Digit的分解圖（圖片來(lái)源為Meta）

Digit的塑料機(jī)身外殼可以通過(guò)3D打印和注塑成型來(lái)制作。同時(shí)，Digit還配備了三個(gè)RGB發(fā)光二極管，正如下圖所示，這可以為使用硅和丙烯酸制造工藝定制設(shè)計(jì)的彈性體凝膠表面提供照明，可以平衡堅(jiān)固性和靈敏度。Digit制作過(guò)程中使用“壓配合”連接工藝將相機(jī)和凝膠安裝到機(jī)身上，以便可以更換組件，還可以更換外殼以適應(yīng)不同的鏡頭焦距。

▲安裝在機(jī)械手上的Digit（圖片來(lái)源為Meta）

對(duì)Digit進(jìn)行實(shí)驗(yàn)時(shí)，將其配備到機(jī)械手上，研究團(tuán)隊(duì)利用該機(jī)械手的拇指和中指去握住和操縱玻璃彈珠。在50次試驗(yàn)過(guò)程中，大約25%的時(shí)間中機(jī)械手中的彈珠會(huì)掉落。研究人員將此歸因于數(shù)據(jù)不準(zhǔn)確和多變性，而不是Digit設(shè)計(jì)中的缺陷。

Digit的塑料外殼、凝膠和電子產(chǎn)品的制造文件以及用于編程的固件二進(jìn)制文件于去年6月在GitHub上開(kāi)源。同時(shí)，近日Meta宣布將與麻省理工學(xué)院的衍生公司GelSight合作生產(chǎn)Digit。

相比于Digit，現(xiàn)在發(fā)布的ReSkin是一種嵌入了磁性顆粒的可變形彈性體。

▲可變形彈性體ReSkin的演示模型

其次，ReSkin相比于Digit可能更便宜，生產(chǎn)100張ReSkin時(shí)每件成本已經(jīng)低于6美元，而生產(chǎn)1000張的Digit每件成本仍為15美元。Gupta和Hellebrekers介紹道，ReSkin的厚度為2毫米到3毫米，而Digit的厚度為18毫米，可進(jìn)行超過(guò)50,000次交互，這使得ReSkin成為從機(jī)械手、觸覺(jué)手套到臂套甚至狗鞋等各種外形的理想選擇。

▲安裝在機(jī)械手上的ReSkin（圖片來(lái)源為Meta）

“ReSkin還可以提供高頻三軸觸覺(jué)信號(hào)，用于快速操作任務(wù)，如滑、扔、接和拍手等。當(dāng)它磨損時(shí)，可以很容易地將其剝離并更換新的配件?！盙upta和Hellebrekers說(shuō)。

根據(jù)Gupta和Hellebrekers的說(shuō)法，ReSkin實(shí)際目標(biāo)是建立一個(gè)聯(lián)系人數(shù)據(jù)源，這可能有助于進(jìn)行對(duì)象分類等一系列基于觸摸的任務(wù)時(shí)，整合數(shù)據(jù)資源，進(jìn)一步推進(jìn)人工智能。使用ReSkin開(kāi)發(fā)的具有觸覺(jué)感知技能的AI模型，還可能被用于在醫(yī)療保健環(huán)境中工作或抓取柔軟的物體。

ReSkin可以與其他傳感器集成，收集視覺(jué)、聲音和觸摸數(shù)據(jù)以創(chuàng)建多模式數(shù)據(jù)集，因此有助于構(gòu)建比以前更真實(shí)的世界模型。

▲ReSkin傳感器用于測(cè)量觸覺(jué)力（圖片來(lái)源為Meta）

“今天的人工智能有效地融合了視覺(jué)和聽(tīng)覺(jué)等感官，但觸覺(jué)仍然是一個(gè)持續(xù)的挑戰(zhàn)，是由于人體以外獲取觸覺(jué)傳感數(shù)據(jù)有限。因此，AI研究人員希望利用人們觸覺(jué)感知的豐富性和冗余性，更好地將觸覺(jué)融入到他們的模型中?！?/p>

02.ReSkin有望解決大規(guī)模生產(chǎn)難題

值得注意的是，Digit和ReSkin都不是該領(lǐng)域中的第一個(gè)觸覺(jué)傳感器，其他觸覺(jué)傳感器還包括加州大學(xué)伯克利分校研究小組開(kāi)發(fā)的OmniTact和麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室的機(jī)器人抓手GelFlex，新加坡國(guó)立大學(xué)還使用英特爾的原型芯片開(kāi)發(fā)了觸摸感應(yīng)機(jī)器人“皮膚”。

▲機(jī)器人抓手GelFlex正在抓取物體（圖片來(lái)源為麻省理工學(xué)院 ）

但是，之前的這些實(shí)踐表明，“柔軟的皮膚”難以進(jìn)行大規(guī)模制造，因?yàn)樵谥圃爝^(guò)程中它們會(huì)發(fā)生變化，首先是該設(shè)備本身的材料的性質(zhì)會(huì)隨著時(shí)間的推移而發(fā)生變化，其次對(duì)材料的使用方法不同也會(huì)使其產(chǎn)生改變，這都為“皮膚”的大規(guī)模制造增加了挑戰(zhàn)。同時(shí)，每個(gè)傳感器都必須通過(guò)校準(zhǔn)程序來(lái)確定其各自的響應(yīng)結(jié)果，這也意味著校準(zhǔn)程序必須自行適應(yīng)上述變化。

ReSkin利用機(jī)器學(xué)習(xí)和磁感應(yīng)，并采用無(wú)監(jiān)督學(xué)習(xí)模型，設(shè)備安裝、使用時(shí)減少觸碰，降低其損壞率，一定程度上能緩解難以大規(guī)模制造的困境。

ReSkin通過(guò)消除軟材料和測(cè)量電子設(shè)備之間的電氣連接，無(wú)需近距離接觸連接，確保其材料不受外界干擾，以此克服其在大規(guī)模制造時(shí)出現(xiàn)的困難。該觸覺(jué)傳感器的磁信號(hào)依賴于接近它的距離，因此電子設(shè)備只需在附近，無(wú)需連接就可以接收磁信號(hào)。

除此之外，ReSkin還開(kāi)發(fā)了一個(gè)映射函數(shù)，該函數(shù)對(duì)來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行訓(xùn)練，使其比傳統(tǒng)映射函數(shù)更具通用性和穩(wěn)健性。并且ReSkin的傳感器采用無(wú)監(jiān)督模型，可以使用少量未標(biāo)記數(shù)據(jù)自動(dòng)且連續(xù)地進(jìn)行微調(diào)。

▲ReSkin的無(wú)監(jiān)督模型演示

在無(wú)監(jiān)督學(xué)習(xí)中，算法會(huì)受到“未知”數(shù)據(jù)的影響，這些數(shù)據(jù)不存在先前定義的類別或標(biāo)簽。這與“監(jiān)督”學(xué)習(xí)相反，在“監(jiān)督”學(xué)習(xí)中，算法是針對(duì)特定輸出注釋的輸入數(shù)據(jù)進(jìn)行訓(xùn)練的，直到它們可以檢測(cè)到其中潛在的關(guān)系。在ReSkin上運(yùn)行的那些無(wú)監(jiān)督機(jī)器學(xué)習(xí)系統(tǒng)，必須從固有數(shù)據(jù)中自學(xué)，能夠?qū)ξ礃?biāo)記的數(shù)據(jù)進(jìn)行分類、處理，而不是從注釋中學(xué)習(xí)。

“我們可以使用未標(biāo)記數(shù)據(jù)的相對(duì)位置來(lái)幫助微調(diào)傳感器的校準(zhǔn)程序，而不是提供先驗(yàn)的強(qiáng)制標(biāo)簽。例如，我們知道在三個(gè)接觸點(diǎn)中，物理上彼此更接近的兩個(gè)將具有更相似的觸覺(jué)信號(hào)。”Gupta和Hellebrekers解釋。

“總而言之，ReSkin開(kāi)辟了現(xiàn)有系統(tǒng)無(wú)法實(shí)現(xiàn)的多功能、可擴(kuò)展且價(jià)格低廉的觸感模塊?，F(xiàn)有的基于攝像頭的觸覺(jué)傳感器要求設(shè)備表面和攝像頭之間的距離達(dá)到最小，從而導(dǎo)致設(shè)計(jì)更加笨重。相比之下，ReSkin可以作為一個(gè)表層覆蓋在人類和機(jī)器人的手和手臂上?！?/p>

“我們對(duì)通用觸覺(jué)傳感器的研究催生了今天的ReSkin，它具有低成本、便攜且續(xù)航時(shí)間久的優(yōu)點(diǎn)，其次，它的皮膚就像剝皮和換上新繃帶一樣容易更換，并且可以立即使用。我們學(xué)習(xí)的模型在開(kāi)箱即用的新設(shè)備上表現(xiàn)出色。這是一個(gè)強(qiáng)大的工具，將幫助研究人員構(gòu)建AI模型，為廣泛應(yīng)用的多樣性提供動(dòng)力?！盙upta和Hellebrekers寫(xiě)道。

03.開(kāi)源模擬器、學(xué)習(xí)框架、基礎(chǔ)模型......

為了支持像Digit和ReSkin這樣的硬件，Meta今年夏天開(kāi)源了Tacto和PyTouch，這是用于PyTorch機(jī)器學(xué)習(xí)框架的庫(kù)。Tacto是基于視覺(jué)的觸覺(jué)傳感器模擬器，而PyTouch是用于觸摸傳感的機(jī)器學(xué)習(xí)模型和功能的集合。

▲PyTouch的界面

Tacto模擬器能以每秒數(shù)百幀的速度呈現(xiàn)觸摸讀數(shù)，并且可以將其配置為不同的傳感器，包括Meta自己的Digit。正如Calandra和Lambeta指出的那樣，模擬器在原型設(shè)計(jì)、調(diào)試和機(jī)器人基準(zhǔn)測(cè)試中發(fā)揮著重要作用，因?yàn)樗鼈兛梢酝ㄟ^(guò)測(cè)試而避免進(jìn)行昂貴的實(shí)驗(yàn)。他們說(shuō)：“模擬實(shí)驗(yàn)?zāi)軌蚴沟迷O(shè)備運(yùn)行更快，除此之外，也可以通過(guò)模擬實(shí)驗(yàn)獲得正確的硬件，并減少觸覺(jué)傳感中硬件表面的磨損和撕裂，這使得模擬對(duì)于觸摸傳感變得更加重要。”

至于PyTouch，它為傳感器提供了基本功能，例如檢測(cè)觸摸和滑動(dòng)，以及估計(jì)物體姿態(tài)等。PyTouch可以將現(xiàn)實(shí)世界的傳感器和Tacto集成，以實(shí)現(xiàn)模型驗(yàn)證和將模擬訓(xùn)練的概念轉(zhuǎn)移到現(xiàn)實(shí)世界應(yīng)用程序中的“Sim2Real”功能。Meta還設(shè)想PyTouch能夠讓機(jī)器人社區(qū)使用專用于“即服務(wù)（as a service）”觸覺(jué)傳感的模型，研究人員可以在其中連接傳感器，下載預(yù)先訓(xùn)練的模型，并將其用作應(yīng)用程序中的組成部分。

“我們目前正在研究Sim2Real轉(zhuǎn)移，用于在模擬中訓(xùn)練PyTouch模型并將它們部署在真實(shí)傳感器上，并作為快速收集數(shù)據(jù)集和訓(xùn)練模型的一種方式?！盋alandra和Lambeta說(shuō)，“在模擬中，收集包含大量數(shù)據(jù)的大規(guī)模數(shù)據(jù)集可以在幾分鐘內(nèi)完成，而使用真實(shí)傳感器收集數(shù)據(jù)需要時(shí)間和人力來(lái)物理探測(cè)物體。因此我們計(jì)劃探索Real2Sim方法，以更好地從真實(shí)數(shù)據(jù)中調(diào)整模擬器?！?/p>

在觸覺(jué)感知方面有一大堆障礙需要克服，包括硬件限制、對(duì)哪些觸摸功能用于特定任務(wù)缺乏了解，以及缺乏廣泛應(yīng)用的基準(zhǔn)測(cè)試。

Meta為克服上述障礙，邁出了一小步，發(fā)布了ReSkin的設(shè)計(jì)、數(shù)據(jù)文檔、代碼和基礎(chǔ)模型，以幫助研究人員使用該傳感器，而無(wú)需收集或訓(xùn)練他們自己的數(shù)據(jù)集。

04.結(jié)語(yǔ)：多個(gè)玩家共同努力，觸摸傳感器解鎖更多可能

Meta發(fā)布ReSkin，開(kāi)源大量軟件、數(shù)據(jù)，利用機(jī)器學(xué)習(xí)和磁感應(yīng)，采用無(wú)監(jiān)督學(xué)習(xí)模型，在探索觸摸傳感器領(lǐng)域更進(jìn)一步，有望在機(jī)器學(xué)習(xí)的領(lǐng)域取得重大進(jìn)展。

一代代的通用觸摸傳感器催生了ReSkin，在大規(guī)模生產(chǎn)難題上更進(jìn)一步，離不開(kāi)眾多企業(yè)、研究人員等對(duì)卡脖子問(wèn)題的努力。Meta表示，無(wú)論觸摸傳感器的發(fā)展增量如何，都可以幫助推進(jìn)AI技術(shù)，并幫助研究人員構(gòu)建具有增強(qiáng)功能的機(jī)器人。

來(lái)源：VentureBeat

本文來(lái)自微信公眾號(hào) “智東西”（ID：zhidxcom），作者：程茜，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 逆天 伯格 扎克