科羅拉多大學的研究人員最近在預印本服務器Arxiv.org上發表了一篇論文(“荒野小徑上機器人從虛擬到現實轉移學習”)。提出了一個解決方案。他們的方法利用各種深度學習模型 - 即神經元模擬數學函數層 - 來幫助機器人從相機鏡頭中判斷遠足路線的方向。

“機器人在許多涉及戶外使用的場景中都有前途，例如搜索和救援，野生動植物管理以及收集數據以改善環境、氣候和天氣預報。”研究人員寫道，“然而，戶外步道的自主導航仍然是一個具有挑戰性的問題......在許多情況下，收集和訓練訓練數據集可能不太可行或不實用，特別是由于季節性天氣變化、風暴和自然侵蝕，路徑條件可能會發生變化。”

正如該論文的作者指出的那樣，戶外路徑存在很多變化。它們由任何數量的材料(如礫石，泥土和覆蓋物)定義，并且它們跨越不同的生物群落，例如森林、草地和山脈。此外，它們的外觀隨著季節、天氣和一天中的時間而變化，并且它們通常被茂密的植被部分遮擋。

收集和標記訓練強大系統所需的真實數據將非常耗時，因此研究人員采購了虛擬戶外路徑的合成圖像。為了制作它們，他們組裝了一個阿爾卑斯山的場景，在Unity中有泥土小徑，點綴著Unity Asset Store的樹木、巖石和草的3D模型。然后，他們放置了一個帶有三個攝像頭的虛擬機器人，每個攝像頭分別具有400×400像素的分辨率和80度的視野，可以收集20,269張景觀圖像。

該團隊將圖像調整為100×100×3像素的分辨率，以實現更快的處理速度和更低的內存消耗。然后他們將集合分成三個獨立的集合：一個用于訓練，一個用于驗證，第三個用于測試。

訓練數據集被饋送到具有不同架構的三個不同神經網絡：深度神經網絡(DNN)，卷積神經網絡(CNN)和遞歸神經網絡(RNN)。在AI完全控制虛擬機器人的實驗中，一個模型 - RNN - 設法以95.02%的準確度預測正確的軌跡方向。重要的是，在一個單獨的測試中，研究人員在4,000個真實世界圖像的數據集上訓練了所有三種AI算法，DNN模型的準確度達到了58.41%，超過了基線，并表明虛擬到??現實的轉移學習有潛力超越一些傳統的計算機視覺方法。

“觀察到機器人在導航路徑方面取得了很大的成功，包括那些急轉彎，巨石等障礙物。”研究人員寫道，“此外，我們觀察了幾個'智能'決策的實例;在一次試驗中，機器人在與一個大障礙物碰撞后短暫地偏離了小徑，然后導航回到小徑并恢復其行程。”

這三個神經網絡表現得都不差。機器人偶爾將特定的地形區域誤認為是路徑特征，這導致它偏離航線。研究人員承認，Unity的低質量地形包不允許物體之間存在“足夠的差異”。 (他們留待未來探索技術，以提高普遍性，如程序性地生成具有不同條件的地形。)

但他們認為，自己的工作為加速機器人地形導航AI訓練的方法奠定了基礎。

“機器人電池壽命，人體疲勞和安全考慮是手動數據采集的主要挑戰;然而，通過我們的方法，這些問題可能會被規避，因為標簽數據的生成可以在虛擬環境中快速有效地執行。”研究人員寫道。 “然后機器人可以進行虛擬訓練，以駕馭難以進入和/或危險的地形，包括目前無法訪問的新型地形，甚至從未接觸過這些環境，并(例如，火星)中收集真實數據。”