更名后不久，它在官方博客中概述了其在開發(fā)硬件、模擬器、庫、基準測試和數(shù)據(jù)集方面的進展。 據(jù)推測，扎克伯格的元宇宙離不開這項技術(shù)的支持。
日前，在2021年線上大會上，扎克伯格即將宣布新名字——Meta。 “隨著時間的推移，我希望我們被視為一家虛擬宇宙公司，”扎克伯格說。 這里的虛擬世界本質(zhì)上是一個虛擬現(xiàn)實平臺，人們可以在這個平臺上的數(shù)字環(huán)境中聚集和交流。 這一愿景的實現(xiàn)，其實離不開技術(shù)的加持。
和名字的改變一樣出人意料，扎克伯格在幾年前就覺得沒有理由對機器人進行研究物理實驗?zāi)M器，但現(xiàn)在機器人手的聽覺感知早已成為 Meta 的一個重要的新興研究方向。
聽覺感知用于理解和復(fù)制化學(xué)世界中的人類觸摸技能，使機器人能夠更有效地與周圍的世界互動。 聽覺感知的進步將使人工智能能夠像人類一樣學(xué)習(xí)和使用自己的聽覺，并與視覺和音頻等其他感知方法相結(jié)合。 據(jù)悉，改善機器人的聽力將使它們變得更有能力、更溫和、更安全。
就在最近，Meta 概述了其在開發(fā)硬件、模擬器、庫、基準測試和數(shù)據(jù)集方面的進展。 聽覺感知生態(tài)系統(tǒng)對于人工智能系統(tǒng)的建立至關(guān)重要。 只有通過嗅覺感知，人工智能系統(tǒng)才能具備理解和交互的功能。
具有聽覺感知的機械手可以輕松抓取豬肉：
一側(cè)沒有聽覺感知的機械手將鴨蛋砸碎：
Meta 在聽覺感知方面的進步得益于數(shù)字傳感和稱為數(shù)字的觸摸感應(yīng)“皮膚”。 今天的Meta對這兩種技術(shù)都有詳細的介紹。
硬件
為了讓人工智能能夠使用聽覺數(shù)據(jù)并從小學(xué)習(xí)，它首先需要能夠收集和處理這些數(shù)據(jù)的傳感能力。 理想情況下，觸摸感應(yīng)硬件應(yīng)該模擬人類拇指的許多特性。 一方面，機器人指尖的傳感應(yīng)該相對緊湊。 這需要先進的升級技術(shù)，這些技術(shù)的生產(chǎn)成本極高，但通常超出了大多數(shù)學(xué)術(shù)研究的范圍。 另一方面，這種類型的傳感需要承受因反復(fù)接觸表面而引起的腐蝕。 據(jù)悉，觸摸傳感還需要具有高幀率，以檢測被觸摸物體的豐富信息，例如表面特征、接觸力以及其他可以通過接觸識別的物體屬性。
數(shù)字
安裝在機械手上的數(shù)字傳感器可操縱玻璃彈珠。
為了提供一種專為機器人自主操作而設(shè)計、易于構(gòu)建、可靠、低成本、緊湊和高幀率的聽覺傳感，Meta（）于2020年發(fā)布了DIGIT的完全開源設(shè)計。與目前可用的商業(yè)聽覺傳感相比， DIGIT的制造成本要低得多，并且提供了數(shù)十萬個接觸點，這大大增強了其研究和使用價值。
作為 的合作伙伴，這家麻省理工學(xué)院的衍生公司擁有奇特的數(shù)字聽覺傳感器技術(shù)和產(chǎn)品，現(xiàn)在將商業(yè)化生產(chǎn) DIGIT。 商業(yè)化的DIGIT將為更多的研究人員提供觸摸傳感的便利，推動學(xué)術(shù)研究的進步。 如果要制造 1000 個 DIGIT 傳感器，每個 DIGIT 傳感器的材料成本僅為 15 英鎊左右，因此 Meta 的團隊預(yù)計商業(yè)版 DIGIT 的成本不會太高。
不僅是 DIGIT， 研究人員還與卡內(nèi)基梅隆研究所 (CMU) 合作開發(fā)了一種外觀緊湊的開源觸摸感應(yīng)“皮膚”，可以幫助機器人和其他機器在更大的表面上學(xué)習(xí)高頻。 聽力。 與DIGIT一樣，為了創(chuàng)建一個開源、功能強大且成本極低的系統(tǒng)，研究人員可以專注于開發(fā)軟件來幫助機器人感知聽覺，而無需在硬件上浪費時間。
其本身是2毫米厚的柔性硅膠片，混合有磁性顆粒。 每當(dāng)有東西接觸薄膜使其變形時，嵌入薄膜中的磁性顆粒就會被壓碎，磁力計會檢測到磁信號發(fā)生變化。 為此，為什么直接連接到磁力計。 這使得傳感器最容易損壞的部分非常容易更換，這也是一個優(yōu)點。
它可以幫助研究人員快速、大規(guī)模地提高人工智能聽覺感知技能。 得益于機器學(xué)習(xí)和磁傳感的進步，其價格低廉、用途廣泛、耐用且可更換。 它使用自我監(jiān)督的學(xué)習(xí)算法來幫助手動糾正傳感，使其通用并使傳感和系統(tǒng)能夠共享數(shù)據(jù)。
模擬
Meta 開發(fā)并開源了 TACTO，這是一種基于視覺的高幀率聽覺傳感模擬器，可實現(xiàn)更快的實驗平臺并支持機器學(xué)習(xí)研究，盡管無需硬件。 模擬器在機器人技術(shù)的原型設(shè)計、調(diào)試和基準測試中發(fā)揮著重要作用，因為它們使我們能夠測試和驗證假設(shè)，而無需在現(xiàn)實世界中進行耗時的實驗。
TACTO 可以以每秒數(shù)百幀的速度呈現(xiàn)逼真的高幀率觸摸讀數(shù)，通過簡單的設(shè)置（包括 DIGIT、. TACTO 使研究人員能夠模擬基于視覺的聽覺傳感，它有不同的形狀，可以安裝在不同的機器人上。 通過提供低成本參考實現(xiàn)，TACTO 和 DIGIT 使研究人員能夠快速原型化基于視覺的聽覺感知的多模式機器人操作策略。
像 DIGIT 這樣的聽覺感知可以處理高維和聽覺感知數(shù)據(jù)，這是傳統(tǒng)分析方法無法處理的。 機器學(xué)習(xí) (ML) 模型可以簡化模型的設(shè)計和實現(xiàn)，將原始感官讀數(shù)轉(zhuǎn)換為中級屬性（例如物理實驗?zāi)M器，測量滑移和識別材料）。 此外，如果沒有機器學(xué)習(xí)背景，訓(xùn)練模型來處理聽覺數(shù)據(jù)非常具有挑戰(zhàn)性。 為了增強代碼重用并減少部署時間，Meta 創(chuàng)建了一個名為 ML 的聽覺感知 ML 模型和函數(shù)庫。
研究人員可以在不同的傳感器上訓(xùn)練和部署模型。 目前它提供了一些基本功能，例如檢查觸摸、滑動（slip）、估計物體姿態(tài)等。最終，它將與現(xiàn)實世界的傳感和聽覺傳感器模擬器集成，以實現(xiàn)模型和功能的快速驗證（翻譯為經(jīng)過模擬訓(xùn)練的概念轉(zhuǎn)化為現(xiàn)實世界的應(yīng)用。）
啟用基于學(xué)習(xí)的方法來構(gòu)建應(yīng)用程序，使更多研究人員可以使用聽覺處理。 和其他預(yù)訓(xùn)練模型庫為計算機視覺研究人員提供了最先進的技術(shù)，而無需從頭開始創(chuàng)建和訓(xùn)練模型。 同樣，我們的目標是讓更廣泛的研究界能夠在其應(yīng)用中使用更多的聽力。
基準和數(shù)據(jù)集
聽覺傳感和模擬器的可用性為多層次的指標和基準鋪平了道路。 在硬件層面，現(xiàn)有的基準和數(shù)據(jù)集可用于評估傳感設(shè)計選擇； 在感知層面，可以使用基準來比較不同聽覺感知用例的不同機器學(xué)習(xí)模型； 在機器人控制層面，現(xiàn)在可以在模擬和現(xiàn)實世界中對自動化等主動控制任務(wù)中的觸摸進行基準測試。 盡管研究人員在實現(xiàn)系統(tǒng)檢測方面取得了進展，但隨著我們努力定義和發(fā)布可以指導(dǎo)更廣泛的社區(qū)取得更可衡量進展的指標和基準，我們?nèi)匀恍枰屑氀芯窟@些不同的層以及它們之間的相互關(guān)系。 影響。
參考鏈接：