近日，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的研究團(tuán)隊(duì)利用肌肉傳感器和運(yùn)動(dòng)檢測(cè)算法，開(kāi)發(fā)出一個(gè)“行為控制機(jī)器人”系統(tǒng)，能通過(guò)肌肉收緊來(lái)遠(yuǎn)程遙控?zé)o人機(jī)。
目前，搭載這個(gè)系統(tǒng)的無(wú)人機(jī)能夠?qū)?種手勢(shì)做出反應(yīng)，反應(yīng)正確率達(dá)到81.6%。
利用機(jī)器人完成工作可以解放人類的生產(chǎn)力。要達(dá)到這一目的，需要機(jī)器人和人之間達(dá)到較高的配合度。此前的研究從語(yǔ)音識(shí)別、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、觸覺(jué)、手勢(shì)等角度進(jìn)行了探索。結(jié)果顯示，語(yǔ)音、觸屏控制不夠靈敏，已有的傳感器系統(tǒng)也比較笨重。
麻省理工學(xué)院的研究人員認(rèn)為讓機(jī)器人理解人類的非語(yǔ)言指令可以解決這些問(wèn)題。據(jù)此，他們研發(fā)出一款端到端手勢(shì)控制系統(tǒng)。這個(gè)系統(tǒng)用肌電信號(hào)傳感器接收用戶手勢(shì)，用算法判斷指令內(nèi)容，不需要進(jìn)行繁瑣的數(shù)據(jù)訓(xùn)練或校準(zhǔn)，配套傳感器的尺寸也比較小。
這項(xiàng)研究已經(jīng)入選2020年人機(jī)交互國(guó)際會(huì)議(ACM/IEEE HRI)，這是人機(jī)交互領(lǐng)域最重要的會(huì)議之一。
論文發(fā)表在計(jì)算機(jī)學(xué)術(shù)網(wǎng)站ACM Digital Library上，論文題目為《使用肌肉和動(dòng)作傳感器實(shí)現(xiàn)即插即用手勢(shì)控制(Plug-and-Play Gesture Control Using Muscle and Motion Sensors)》。
論文鏈接：
https://dl.acm.org/doi/10.1145/3319502.3374823
01
用傳感器捕捉肌電信號(hào)，設(shè)備更輕巧
肌電信號(hào)與人體的運(yùn)動(dòng)意圖相關(guān)。根據(jù)之前的研究，肌電信號(hào)和相關(guān)肌肉動(dòng)力學(xué)之間的建模可被用于提升外骨骼、假肢等輔助機(jī)器人的性能。
本項(xiàng)研究中，研究人員嘗試?yán)眉‰娦盘?hào)傳感器(也稱肌電圖傳感器，EMG)，將人類手部運(yùn)動(dòng)時(shí)的肌電信號(hào)傳輸給機(jī)器人。
用表面肌電電極從參與者的右上臂提取肌電信號(hào)，在肱二頭肌短頭和肱三頭肌長(zhǎng)頭上放置24mm預(yù)涂導(dǎo)電膠的Covidien電極。前臂上的裝置包括肌電圖電極和一個(gè)慣性測(cè)量設(shè)備(IMU，由一個(gè)加速度計(jì)和一個(gè)陀螺儀組成)。
可穿戴式肌電信號(hào)傳感器會(huì)差異化增強(qiáng)收集到的每對(duì)肌電信號(hào)。數(shù)據(jù)收集系統(tǒng)以1KHz的頻率對(duì)肌電信號(hào)進(jìn)行采樣，并通過(guò)USB把它們傳輸?shù)娇梢暬抡婀ぞ逽imulink R2018b。
論文指出，使用肌電信號(hào)傳感器有幾個(gè)好處：
首先，降低了模型的復(fù)雜性。不需要照相機(jī)等動(dòng)作捕捉設(shè)備，設(shè)備更輕巧;
其次，排除了遮擋、環(huán)境噪音等因素的干擾;
另外，肌肉信號(hào)能夠反映出肉眼觀測(cè)不到的運(yùn)動(dòng)狀態(tài)(比如關(guān)節(jié)僵硬)，有助于提升人機(jī)交互系統(tǒng)的靈活性。
02
用算法理解手勢(shì)含義，實(shí)現(xiàn)即插即用
根據(jù)論文，讓機(jī)器人理解手勢(shì)指令有兩個(gè)好處。首先，相比于連續(xù)運(yùn)動(dòng)，手勢(shì)有助于增加系統(tǒng)的穩(wěn)健性;其次，這種設(shè)計(jì)可以減少需要的電極數(shù)目，降低了模型的復(fù)雜性，增加了可部署性。
研究人員共設(shè)計(jì)了8種手勢(shì)，分別是：手臂僵直、轉(zhuǎn)動(dòng)(分為順時(shí)針轉(zhuǎn)動(dòng)和逆時(shí)針轉(zhuǎn)動(dòng))、握拳(分為左手、右手、向上、向下)、手腕彎曲和伸展。
對(duì)于大多數(shù)手勢(shì)引起的肌電信號(hào)，研究人員使用自適應(yīng)在線聚類算法(Online clustering for adaptive thresholding)幫助機(jī)器人理解。
最初，所有的觀察結(jié)果都儲(chǔ)存在未知緩沖區(qū)。幾秒鐘后，高斯混合模型(GMMs，Gaussian Mixture Models)會(huì)對(duì)數(shù)據(jù)流分類，并將其添加到相應(yīng)的滾動(dòng)緩沖區(qū)中。
相比于離線訓(xùn)練方法，自適應(yīng)在線聚類算法不儲(chǔ)存所有的歷史數(shù)據(jù)，不需要大量的校準(zhǔn)、訓(xùn)練過(guò)程，可以做到即插即用。高斯混合模型(GMMs，Gaussian Mixture Models)會(huì)持續(xù)更新，聚類數(shù)據(jù)流并創(chuàng)建自適應(yīng)閾值。這樣，系統(tǒng)就可以適應(yīng)不同用戶的使用習(xí)慣。
對(duì)于那些很難用自適應(yīng)閾值來(lái)描述的手勢(shì)(在上、下、左、右四個(gè)方向上的握拳動(dòng)作)，研究人員用一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)幫助系統(tǒng)理解。這個(gè)神經(jīng)網(wǎng)絡(luò)用過(guò)去收集的一些受試者數(shù)據(jù)進(jìn)行訓(xùn)練。
通過(guò)這兩種方法，最終每個(gè)集群的訓(xùn)練池中都包含至少25%的手勢(shì)。使用固定的覆蓋率有助于保持原有的手勢(shì)分類。
03
測(cè)試1200次，分類器識(shí)別準(zhǔn)確率達(dá)97.6%
在測(cè)試階段，研究人員按照這樣的順序給出指令：轉(zhuǎn)動(dòng)，手臂僵直，向上、下、右握拳，向左握拳。分類器優(yōu)先按照最近0.2s內(nèi)檢測(cè)到的手勢(shì)做出反應(yīng)，其次按照根據(jù)肌電信號(hào)預(yù)測(cè)到的運(yùn)動(dòng)意圖做出反應(yīng)。
研究人員安排6名參與者做出1200次命令手勢(shì)，以此評(píng)估分類器的性能和界面效率。根據(jù)統(tǒng)計(jì)結(jié)果，分類器對(duì)手勢(shì)動(dòng)作的識(shí)別準(zhǔn)確率達(dá)到97.6%。
根據(jù)肌電信號(hào)預(yù)測(cè)運(yùn)動(dòng)意圖方面，分類器對(duì)于向上握拳的預(yù)測(cè)準(zhǔn)確率最高，達(dá)到100%;對(duì)向左握拳的預(yù)測(cè)準(zhǔn)確率最低，為80%。
另外，研究人員把這個(gè)系統(tǒng)應(yīng)用于一個(gè)Parrot Bebop 2無(wú)人機(jī)。該無(wú)人機(jī)尺寸大約為35*43cm，重500g。在119分鐘的飛行時(shí)間中，測(cè)試人員隨機(jī)做出1535個(gè)命令手勢(shì)，無(wú)人機(jī)在81.6%的情況下做出了正確反應(yīng)。
04
結(jié)語(yǔ)：未來(lái)機(jī)器人或能識(shí)別更多手勢(shì)
麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)設(shè)計(jì)出的“行為控制機(jī)器人”系統(tǒng)有效提升了人機(jī)交互的效率。論文中寫道：“(我們)提出的方法在改善真實(shí)場(chǎng)景中的人機(jī)協(xié)作方面邁出了一步。這種協(xié)作越來(lái)越普及，會(huì)帶來(lái)更多效益。”
研究人員表示將繼續(xù)研究，致力于使機(jī)器人理解更多手勢(shì)，并嘗試提升傳感器性能，捕捉到更精細(xì)的肌電活動(dòng)。