視覺觸覺預訓練與多任務學習：人類級靈巧操控系統

研究介紹了一種仿人化視覺-觸覺預訓練與在線多任務學習框架，旨在提升機器人手部操縱的靈活性。研究團隊開發了一套整合 Shadow Hand、Logitech 網路攝影機及自製壓阻式觸覺感測器的系統，並結合 Isaac Gym 模擬環境進行跨領域訓練。透過從人類操作數據中學習多感官關聯，系統能有效地將視覺、觸覺與本體感受融合為統一的特徵表達。實驗證實，該模型在旋轉瓶蓋、轉動水龍頭等五項核心任務中表現卓越，且具備良好的**模擬轉實體（Sim-to-Real）**遷移能力與對陌生任務的適應性。此外，該框架亦成功部署於低成本的 LEAP Hand 平台，展現了強大的硬體通用性與系統魯棒性。 -- Hosting provided by SoundOn