2024年4月2日，越疆推出 X-Trainer AI 機(jī)器人操作平臺(tái)。越疆對(duì)外展示雙臂機(jī)器人協(xié)同刷盤(pán)子視頻，以及在4月22日對(duì)外展示機(jī)器人自主疊衣服視頻，本質(zhì)上都是神經(jīng)網(wǎng)絡(luò)端到端控制能力的技術(shù)體現(xiàn)。

 

在最新的疊衣服視頻中，越疆展示了AI 機(jī)器人操作平臺(tái) X-Trainer的技術(shù)內(nèi)核，即雙臂遙操作模仿學(xué)習(xí)系統(tǒng)。借助該技術(shù)，機(jī)器人能夠加快模仿學(xué)習(xí)基礎(chǔ)量累計(jì)，結(jié)合強(qiáng)化學(xué)習(xí)后能快速實(shí)現(xiàn)機(jī)械臂訓(xùn)練后的自主運(yùn)行。

 

 

此前 Figure 最早推出的機(jī)器人制作咖啡視頻就被人猜測(cè)為模仿學(xué)習(xí)，特斯拉更是公開(kāi)表示此前采取類似遙操作的訓(xùn)練方式，以提升機(jī)器人抓取衣物動(dòng)作軌跡的柔性。而斯坦福此前展示的家務(wù)機(jī)器人，也是試圖通過(guò)遙操作協(xié)同訓(xùn)練，提升機(jī)器人在自主完成炒蝦、存放鍋具、呼叫電梯等復(fù)雜移動(dòng)和操作任務(wù)時(shí)的成功率。

 

本次越疆進(jìn)一步展示端到端能力并公開(kāi)背后技術(shù)，機(jī)器人大講堂獨(dú)家采訪到了越疆聯(lián)合創(chuàng)始人郎需林，他對(duì)我們披露了越疆這套軟硬件系統(tǒng)背后的技術(shù)運(yùn)行邏輯和具體參數(shù)情況。

 

技術(shù)框架內(nèi)核拆解

 

此類機(jī)器人的控制框架其實(shí)可以簡(jiǎn)單分為大模型（上層）+神經(jīng)決策網(wǎng)絡(luò)NNP（中層）+全身控制WBC（下層）。如今，這種多層級(jí)架構(gòu)配合大模型賦能價(jià)值初顯，正為機(jī)器人帶來(lái)強(qiáng)大的感知及運(yùn)動(dòng)任務(wù)能力水平，讓機(jī)器人直接將看到的、聽(tīng)到的信息，實(shí)現(xiàn)多模態(tài)融合并轉(zhuǎn)化為語(yǔ)言和行為結(jié)果，中間不需要經(jīng)過(guò)其他程序處理。

 

在這套機(jī)器人動(dòng)作執(zhí)行的控制框架中，想要機(jī)器人實(shí)現(xiàn)低時(shí)滯、高魯棒性、高軌跡靈活性，就需要進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練持續(xù)優(yōu)化動(dòng)作，而模仿學(xué)習(xí)的訓(xùn)練關(guān)鍵來(lái)源于數(shù)據(jù)，數(shù)據(jù)則來(lái)源于采集。這使得能夠收集雙臂運(yùn)動(dòng)數(shù)據(jù)的低成本全身遙操作系統(tǒng)，正在得到越來(lái)越多科研和產(chǎn)業(yè)研發(fā)人員的認(rèn)同以及使用。

 

成熟的遙操作軟硬件體系，一方面可以驗(yàn)證現(xiàn)階段硬件能否端對(duì)端靈活完成各項(xiàng)軟件算法和任務(wù)規(guī)劃，另一方面可以更好收集端到端神經(jīng)網(wǎng)絡(luò)所需的訓(xùn)練數(shù)據(jù)，從而讓未來(lái)的機(jī)器人能夠自行執(zhí)行任務(wù)，為更多細(xì)分場(chǎng)景開(kāi)拓帶來(lái)了新的可能性。

 

剝香蕉

 

切黃瓜

 

水果擺盤(pán)

 

打雞蛋

 

煎雞蛋

 

在越疆發(fā)布的視頻中，機(jī)器人根據(jù)語(yǔ)言命令自主刷盤(pán)子、疊衣服，背后同樣采用了視覺(jué)大語(yǔ)言模型+模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的上層架構(gòu)，其中的數(shù)據(jù)來(lái)源，則是借助遙操作系統(tǒng)訓(xùn)練而來(lái)。

 

人們看到的視頻背后，首先由人類遠(yuǎn)程控制機(jī)器人進(jìn)行動(dòng)作演示，使得機(jī)器人能夠根據(jù)動(dòng)作快速模仿學(xué)習(xí)，大幅降低訓(xùn)練時(shí)間，最終由雙臂機(jī)器人作為驗(yàn)證平臺(tái)進(jìn)行執(zhí)行，提升整個(gè)端到端訓(xùn)練的質(zhì)量，最終實(shí)現(xiàn)行為克隆。

 

 

動(dòng)作軌跡優(yōu)化秘訣

 

這種更強(qiáng)大的端對(duì)端響應(yīng)能力，與X-Trainer 主從遙操作系統(tǒng)帶來(lái)的高質(zhì)量數(shù)據(jù)采集能力有較大關(guān)系。

 

一般而言，人工智能的強(qiáng)弱表現(xiàn)，與數(shù)據(jù)量和數(shù)據(jù)質(zhì)量正相關(guān)，而二者都依托于數(shù)據(jù)采集能力。能否在短時(shí)間內(nèi)采集到更多的高質(zhì)量數(shù)據(jù)并快速訓(xùn)練，是機(jī)器人實(shí)現(xiàn)高效動(dòng)作執(zhí)行的基礎(chǔ)。

 

越疆聯(lián)合創(chuàng)始人郎需林透露，越疆采用了同構(gòu)型主從手設(shè)計(jì)，能直接復(fù)現(xiàn)記錄人類進(jìn)行任務(wù)時(shí)的關(guān)節(jié)運(yùn)動(dòng)和軌跡，這使得X-Trainer 平臺(tái)模仿學(xué)習(xí)的數(shù)據(jù)采集，可通過(guò)熟練的示范操作中學(xué)習(xí)而來(lái)，大幅提升機(jī)器人的圖像采集質(zhì)量，從而使得關(guān)節(jié)映射的精度、準(zhǔn)確度、抖動(dòng)、柔順性等表現(xiàn)都非常優(yōu)質(zhì)，應(yīng)對(duì)一些干擾的能力強(qiáng)勁。

 

 

低時(shí)延是越疆 X-Trainer平臺(tái)的顯著優(yōu)勢(shì)之一。根據(jù)郎需林介紹，這是由于X-Trainer 平臺(tái)采用25Hz 頻率接收頂部和手部的三個(gè)攝像頭圖像并完成推理，通過(guò)高性能的在線運(yùn)動(dòng)規(guī)劃接口生成 250Hz 的雙臂運(yùn)動(dòng)，圖像到關(guān)節(jié)驅(qū)動(dòng)響應(yīng)非常高效。

 

 

根據(jù)公開(kāi)信息，F(xiàn)igure 01 接收機(jī)載圖像網(wǎng)絡(luò)頻率為 10Hz，即100毫秒一張圖片，而X-Trainer 端到端高性能運(yùn)動(dòng)接口頻率是25Hz ，相當(dāng)于40毫秒一張圖片，這意味著運(yùn)行響應(yīng)速度本質(zhì)上提升了150% ，強(qiáng)大的即時(shí)響應(yīng)能力帶來(lái)更顯著的運(yùn)行平穩(wěn)性。

 

從越疆發(fā)布的幾個(gè)視頻來(lái)看，無(wú)論是盤(pán)子上不規(guī)則污漬的擦凈，還是應(yīng)對(duì)衣服折疊的過(guò)程中出現(xiàn)的不規(guī)則褶皺，機(jī)器人都能快速調(diào)整，高動(dòng)態(tài)響應(yīng)能力大幅提升了機(jī)器人的適應(yīng)性。這背后源于越疆強(qiáng)大的模仿學(xué)習(xí)方式，更接近于人類視覺(jué)網(wǎng)絡(luò)的即時(shí)性反應(yīng)，執(zhí)行路徑和方式是人腦驅(qū)動(dòng)人手的動(dòng)作機(jī)理，因此相較單獨(dú)的圖神經(jīng)網(wǎng)絡(luò)識(shí)別的質(zhì)量更高。

 

X-Trainer 之所以能夠做到高質(zhì)量的數(shù)據(jù)采集，據(jù)郎需林介紹，因?yàn)樵浇谶@套遙操作系統(tǒng)中，主手硬件上采取了高性能低摩擦的電機(jī)，并且在結(jié)構(gòu)的輕質(zhì)和傳動(dòng)的摩擦力方面進(jìn)行了大量的迭代和優(yōu)化，從而帶來(lái)了優(yōu)質(zhì)的柔順性和摩擦阻力，使得操作更為輕便，用戶疲勞感更弱，操作動(dòng)作完成度也更高，大幅提升了機(jī)器人還原度，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量。

 

 

這套遙操作的從手，則是采取了高精度的 Nova 雙臂，這個(gè)工業(yè)級(jí)的訓(xùn)練平臺(tái)，讓數(shù)據(jù)采集與動(dòng)作的精度大幅提升，保證了任務(wù)的效率和質(zhì)量，從而提供了保證了模仿學(xué)習(xí)的軌跡復(fù)現(xiàn)，為訓(xùn)練數(shù)據(jù)在各類場(chǎng)景落地提供了保證，最后才呈現(xiàn)出視頻里機(jī)器人驚人的執(zhí)行力效果。

 

高初值帶來(lái)強(qiáng)化學(xué)習(xí)新范式

 

據(jù)悉，X-Trainer 這種高性能模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)遷移實(shí)現(xiàn)到機(jī)器人平臺(tái)，完成端到端圖像到動(dòng)作映射的算法，目前也具有一定泛化能力。

 

由于基于真實(shí)物理環(huán)境數(shù)據(jù)采集，這種模仿學(xué)習(xí)為強(qiáng)化學(xué)習(xí)提供了一個(gè)優(yōu)質(zhì)的訓(xùn)練初值。不同于傳統(tǒng)強(qiáng)化學(xué)習(xí)需要經(jīng)過(guò)長(zhǎng)時(shí)間訓(xùn)練、糾偏、優(yōu)化，才能在隨機(jī)環(huán)境獲取較好初始值的方法，高性能模仿學(xué)習(xí)本質(zhì)上加速了強(qiáng)化學(xué)習(xí)初值的獲取速度。例如Figure 01此前神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間為 10 小時(shí)，而X-Trainer 通過(guò)人類示范模仿學(xué)習(xí)，僅需2小時(shí)訓(xùn)練即可自主刷盤(pán)子，并對(duì)實(shí)時(shí)干擾快速糾正。

 

 

這就是越疆在模仿學(xué)習(xí)的基礎(chǔ)上，通過(guò)物理引擎仿真以及環(huán)境建模，更快實(shí)現(xiàn)了初始軌跡的空間結(jié)構(gòu)位置信息獲取，再加上強(qiáng)化學(xué)習(xí)后，能夠疊加隨機(jī)物理真實(shí)信息紋理等參數(shù)，從而實(shí)現(xiàn)多層級(jí)任務(wù)的學(xué)習(xí)，強(qiáng)化了算法在不同場(chǎng)景的泛化能力。

 

目前，機(jī)器人端到端任務(wù)執(zhí)行的算法框架已經(jīng)基本穩(wěn)定，但機(jī)器人從0-50基礎(chǔ)數(shù)據(jù)集的獲取依然耗費(fèi)了研究者大量的時(shí)間。

 

模仿學(xué)習(xí)是一個(gè)機(jī)器人數(shù)據(jù)基礎(chǔ)框架和基礎(chǔ)能力獲取的加速器，可以說(shuō)是機(jī)器人學(xué)習(xí)的基石。因?yàn)樵诖嘶A(chǔ)上，軌跡數(shù)量更加豐富且精確，數(shù)據(jù)集獲取也更為容易，研發(fā)者能夠聚焦場(chǎng)景泛化能力，注重機(jī)器人從50~10000強(qiáng)化學(xué)習(xí)能力的訓(xùn)練。

 

 

據(jù)悉，X-Trainer 系統(tǒng)包括兩只主手、兩只從手，每臺(tái)機(jī)械臂上有一個(gè)3D攝像頭和夾爪，頂部也有一個(gè)3D的攝像頭，越疆自研的高性能主從控制和雙臂協(xié)同框架，保證了高數(shù)據(jù)量傳輸，全棧式提升這套端到端框架的運(yùn)行可靠性。

 

 

在具體場(chǎng)景上，這套系統(tǒng)除了有望助力科研院所相關(guān)算法科研驗(yàn)證，快速將學(xué)術(shù)研究的成果與下游應(yīng)用需求鏈接，還有望幫助工業(yè)場(chǎng)景企業(yè)，加快對(duì)于3C電子、電池組裝等線束扎帶、柔性插拔等工藝的學(xué)習(xí)訓(xùn)練效率，推動(dòng)人形機(jī)器人的進(jìn)化，真正做到從實(shí)驗(yàn)室走向?qū)嶋H場(chǎng)景應(yīng)用。

 

結(jié)語(yǔ)與未來(lái)

 

國(guó)際上，斯坦福等高校已針對(duì)模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)能力展開(kāi)了大量相應(yīng)研究，國(guó)內(nèi)包括越疆等企業(yè)也找到了正確路徑。X-Trainer 這套系統(tǒng)，非常有望幫助國(guó)內(nèi)更多科研機(jī)構(gòu)、應(yīng)用企業(yè)，加入數(shù)據(jù)基石建設(shè)的進(jìn)程中，加速國(guó)內(nèi)人形機(jī)器人在多場(chǎng)景任務(wù)落地的可行性。

 

“我們正處于時(shí)代的風(fēng)口浪尖，中國(guó)企業(yè)正嘗試克服種種困難去迎接這個(gè)時(shí)代的挑戰(zhàn)，越疆希望用自己的努力，助力更多的人參與到中國(guó)機(jī)器人和具身智能的發(fā)展浪潮中，共建這個(gè)充滿想象力的未來(lái)。”郎需林對(duì)未來(lái)充滿信心。