智東西5月7日消息，近日，Facebook和加州大學伯克利分校的研究人員研發出一種方法，可以使無人機“負重”飛行。根據模擬結果，無人機可以撿起、運輸、卸下有效載荷，同時保持平穩的飛行狀態。

人們一直希望能用無人機在倉庫或其他工業環境中運送貨物。但之前的研究顯示，搭載有效載荷會削弱無人機的飛行性能，甚至有可能造成無人機故障。在本項研究中，研究人員創造性地用元學習方法解決了這個問題。據了解，這是元學習方法首次用于解決無人機負重問題。

這項研究發表在學術網站arXiv上，論文名稱為《用基于模型的元強化學習實現攜帶有效載荷飛行（Model-Based Meta-Reinforcement Learning for Flight with Suspended Payloads）》。

一、元學習：讓模型根據經驗舉一反三

裝載重物會對無人機的動力學模型造成不可預估的影響。之前的研究嘗試用自適應控制和學習方法來解決問題，但這些方法有一些局限性。

首先，由于無人機作業環境的復雜性，建模十分困難。在工業環境中，需要無人機運送的貨物質量是不可先驗的，針對孤立的物理狀態建模并不能幫助無人機適應所有的情況，因此人工設計的動力學模型不足以實現在線控制。

另外，機器學習模型通常需要較長的數據校準過程。但在無人機飛行過程中，拾取有效載荷后必須快速適應，不然就有可能偏離飛行路線甚至發生嚴重故障。

為了解決這些問題，Facebook和加州大學伯克利分校的研究人員提出了基于模型的元強化學習方法?！霸獙W習（Meta Learning）”是一種機器學習方法，可以提升模型的學習效率，讓模型“學會如何去學習”。

研究人員訓練了一個基于深層神經網絡的動力學預測模型，來幫助無人機適應不同有效載荷，并用一個四軸無人機搭載重量未知的有效載荷來驗證模型效果。

▲在無人機上裝載一個掛鉤，使其能夠吊起貨物

二、預測模型：幫助無人機不斷優化飛行動作

神經網絡動力學預測模型以無人機當前的狀態和動作作為輸入。當無人機裝載了有效載荷后，預測模型利用變分推斷（variational inference）方法，根據當下有效載荷的質量、系繩的長度等狀態參數快速推斷出后驗概率，幫助無人機適應新的飛行狀態。

該模型用長度為T的時序數據進行訓練，以此優化神經網絡的權重（weight）參數。研究人員假設有效載荷參數是未知的，用一個具有分布參數的潛變量（latent variable）K來表示它們，通過調整K值來模擬攜帶不同有效載荷的情況。

在模型訓練階段，研究人員手動駕駛載有不同有效載荷的無人機按照隨機軌跡飛行，并收集這部分訓練數據。然后，研究人員運行元學習方法，使模型學習共享的動力學模型參數和對不同有效載荷的適應參數。

然后，研究人員檢測模型的訓練成果。模型利用當前任務的所有數據在線推導出最優潛變量。基于動力學模型的控制器據此規劃無人機動作，使無人機按照既定路線飛行。在整個飛行過程中，模型會持續儲存數據，不斷推導出最優潛變量、優化無人機動作，直至到達目的地。

三、無人機能負重完成躲避、裝卸貨任務

研究人員用四軸無人機進行了演示。為了使無人機能夠自行定位航線，研究人員在無人機上搭載了攝像機模塊。

首先在設定飛行軌跡的情況下進行演示。研究人員設定的飛行軌跡用紅色線條表示，模型實時規劃出的飛行軌跡用白色線條表示，無人機最終選擇的最佳飛行軌跡用藍色線條表示。根據模擬結果，無人機基本能夠按照指定路線飛行。

研究人員還在設定方形飛行軌跡和圓形飛行軌跡的情況下進行了演示，并對比了元學習算法模型和其他模型。結果顯示，元學習算法模型的路線錯誤更少。

研究人員還指出，隨著元學習算法不斷適應，無人機的飛行性能會繼續優化。

在研究人員模擬出的幾種實際應用場景中，無人機也較好地完成了任務。

1、躲避障礙物

2、撿拾、運輸、卸下貨物

3、用指揮棒實時規劃飛行路線

4、跟蹤目標飛行

結語：計劃進一步提升模型自主性

Facebook和加州大學伯克利分校的研究人員利用基于模型的元強化學習方法，有效提升了無人機裝載有效載荷飛行的能力。

研究人員表示，將繼續進行研究，致力于使無人機能夠完成更加復雜的有效載荷運輸任務。根據論文，目前該模型還需要研究人員指定有效載荷被撿起和放下的時間。接下來研究人員計劃開發一種算法，使模型能夠自主決定裝卸貨的時間。