更名后不久，它在官方博客中概述了其在開發硬件、模擬器、庫、基準測試和數據集方面的進展。 據推測，扎克伯格的元宇宙離不開這項技術的支持。
日前，在2021年線上大會上，扎克伯格即將宣布新名字——Meta。 “隨著時間的推移，我希望我們被視為一家虛擬宇宙公司，”扎克伯格說。 這里的虛擬世界本質上是一個虛擬現實平臺，人們可以在這個平臺上的數字環境中聚集和交流。 這一愿景的實現，其實離不開技術的加持。
和名字的改變一樣出人意料，扎克伯格在幾年前就覺得沒有理由對機器人進行研究物理實驗模擬器，但現在機器人手的聽覺感知早已成為 Meta 的一個重要的新興研究方向。
聽覺感知用于理解和復制化學世界中的人類觸摸技能，使機器人能夠更有效地與周圍的世界互動。 聽覺感知的進步將使人工智能能夠像人類一樣學習和使用自己的聽覺，并與視覺和音頻等其他感知方法相結合。 據悉，改善機器人的聽力將使它們變得更有能力、更溫和、更安全。
就在最近，Meta 概述了其在開發硬件、模擬器、庫、基準測試和數據集方面的進展。 聽覺感知生態系統對于人工智能系統的建立至關重要。 只有通過嗅覺感知，人工智能系統才能具備理解和交互的功能。
具有聽覺感知的機械手可以輕松抓取豬肉：
一側沒有聽覺感知的機械手將鴨蛋砸碎：
Meta 在聽覺感知方面的進步得益于數字傳感和稱為數字的觸摸感應“皮膚”。 今天的Meta對這兩種技術都有詳細的介紹。
硬件
為了讓人工智能能夠使用聽覺數據并從小學習，它首先需要能夠收集和處理這些數據的傳感能力。 理想情況下，觸摸感應硬件應該模擬人類拇指的許多特性。 一方面，機器人指尖的傳感應該相對緊湊。 這需要先進的升級技術，這些技術的生產成本極高，但通常超出了大多數學術研究的范圍。 另一方面，這種類型的傳感需要承受因反復接觸表面而引起的腐蝕。 據悉，觸摸傳感還需要具有高幀率，以檢測被觸摸物體的豐富信息，例如表面特征、接觸力以及其他可以通過接觸識別的物體屬性。
數字
安裝在機械手上的數字傳感器可操縱玻璃彈珠。
為了提供一種專為機器人自主操作而設計、易于構建、可靠、低成本、緊湊和高幀率的聽覺傳感，Meta（）于2020年發布了DIGIT的完全開源設計。與目前可用的商業聽覺傳感相比， DIGIT的制造成本要低得多，并且提供了數十萬個接觸點，這大大增強了其研究和使用價值。
作為 的合作伙伴，這家麻省理工學院的衍生公司擁有奇特的數字聽覺傳感器技術和產品，現在將商業化生產 DIGIT。 商業化的DIGIT將為更多的研究人員提供觸摸傳感的便利，推動學術研究的進步。 如果要制造 1000 個 DIGIT 傳感器，每個 DIGIT 傳感器的材料成本僅為 15 英鎊左右，因此 Meta 的團隊預計商業版 DIGIT 的成本不會太高。
不僅是 DIGIT， 研究人員還與卡內基梅隆研究所 (CMU) 合作開發了一種外觀緊湊的開源觸摸感應“皮膚”，可以幫助機器人和其他機器在更大的表面上學習高頻。 聽力。 與DIGIT一樣，為了創建一個開源、功能強大且成本極低的系統，研究人員可以專注于開發軟件來幫助機器人感知聽覺，而無需在硬件上浪費時間。
其本身是2毫米厚的柔性硅膠片，混合有磁性顆粒。 每當有東西接觸薄膜使其變形時，嵌入薄膜中的磁性顆粒就會被壓碎，磁力計會檢測到磁信號發生變化。 為此，為什么直接連接到磁力計。 這使得傳感器最容易損壞的部分非常容易更換，這也是一個優點。
它可以幫助研究人員快速、大規模地提高人工智能聽覺感知技能。 得益于機器學習和磁傳感的進步，其價格低廉、用途廣泛、耐用且可更換。 它使用自我監督的學習算法來幫助手動糾正傳感，使其通用并使傳感和系統能夠共享數據。
模擬
Meta 開發并開源了 TACTO，這是一種基于視覺的高幀率聽覺傳感模擬器，可實現更快的實驗平臺并支持機器學習研究，盡管無需硬件。 模擬器在機器人技術的原型設計、調試和基準測試中發揮著重要作用，因為它們使我們能夠測試和驗證假設，而無需在現實世界中進行耗時的實驗。
TACTO 可以以每秒數百幀的速度呈現逼真的高幀率觸摸讀數，通過簡單的設置（包括 DIGIT、. TACTO 使研究人員能夠模擬基于視覺的聽覺傳感，它有不同的形狀，可以安裝在不同的機器人上。 通過提供低成本參考實現，TACTO 和 DIGIT 使研究人員能夠快速原型化基于視覺的聽覺感知的多模式機器人操作策略。
像 DIGIT 這樣的聽覺感知可以處理高維和聽覺感知數據，這是傳統分析方法無法處理的。 機器學習 (ML) 模型可以簡化模型的設計和實現，將原始感官讀數轉換為中級屬性（例如物理實驗模擬器，測量滑移和識別材料）。 此外，如果沒有機器學習背景，訓練模型來處理聽覺數據非常具有挑戰性。 為了增強代碼重用并減少部署時間，Meta 創建了一個名為 ML 的聽覺感知 ML 模型和函數庫。
研究人員可以在不同的傳感器上訓練和部署模型。 目前它提供了一些基本功能，例如檢查觸摸、滑動（slip）、估計物體姿態等。最終，它將與現實世界的傳感和聽覺傳感器模擬器集成，以實現模型和功能的快速驗證（翻譯為經過模擬訓練的概念轉化為現實世界的應用。）
啟用基于學習的方法來構建應用程序，使更多研究人員可以使用聽覺處理。 和其他預訓練模型庫為計算機視覺研究人員提供了最先進的技術，而無需從頭開始創建和訓練模型。 同樣，我們的目標是讓更廣泛的研究界能夠在其應用中使用更多的聽力。
基準和數據集
聽覺傳感和模擬器的可用性為多層次的指標和基準鋪平了道路。 在硬件層面，現有的基準和數據集可用于評估傳感設計選擇； 在感知層面，可以使用基準來比較不同聽覺感知用例的不同機器學習模型； 在機器人控制層面，現在可以在模擬和現實世界中對自動化等主動控制任務中的觸摸進行基準測試。 盡管研究人員在實現系統檢測方面取得了進展，但隨著我們努力定義和發布可以指導更廣泛的社區取得更可衡量進展的指標和基準，我們仍然需要仔細研究這些不同的層以及它們之間的相互關系。 影響。
參考鏈接：