如今，基于視頻記錄的動作捕捉技術已經廣泛應用于動畫制作、體育訓練、人機工程等領域，其核心是將運動物關鍵部位的動作處理成計算機數據。不過，這要么需要人力費時費力地逐幀標記，要么需要在研究對象上放置標記物，實用場景十分有限。
當地時間8月21日，英國《自然-神經科學》期刊上發表的一篇論文，介紹了一種經過深度學習訓練后，實現自動捕捉動物運動的軟件DeepLabCut。其精細程度可以跟蹤果蠅產卵、伸吻，以及小鼠每一個腳趾的軌跡。
跟蹤果蠅
值得一提的是，開發者已經將DeepLabCut放在了開源網站GitHub上，其他研究人員可以免費下載，經過幾小時的簡單標記后，就能定制軟件捕捉特定動物，乃至人類的運動。
開發該款軟件的美國哈佛大學神經科學家夫婦Mackenzie Mathis和Alexander Mathis原本打算研究小鼠對氣味的追蹤行為，需要在視頻里對小鼠鼻頭進行標記跟蹤。然而，他們沒有找到現成的便捷工具，神經科學家常用的閃光標記物也難以用在微小的鼠頭上，由此萌生了自己編一款軟件的想法。他們選擇了一款 用于識別人類照片的深度學習框架，改造到動物身上。
Mathis團隊首先利用一個大型目標識別圖像數據庫ImageNet對DeepLabCut進行了預訓練，教會系統如何區分不同動物，并識別具體的身體部位，比如小鼠的爪子、斗魚的魚鰭。這樣可以大大節省后續訓練所需的數據。
接著，他們教會系統不僅是跟蹤某一個身體部位，而是同時捕捉所有的標記部位。這能輔助彼此間的精確定位。
最后，團隊進行了跨物種的檢驗和校準，在論文中演示了對果蠅和小鼠兩種物種的動作跟蹤。
跟蹤小鼠
如果你要利用這個軟件捕捉你家貓的動作，只需要在視頻中選取幾幀或幾十幀，點擊鼠標標注貓頭、貓尾巴和每只貓爪的位置，深度學習算法就會自動覆蓋整個視頻的每一幀。
目前，該軟件已經應用于其他團隊的動物研究。DeepLabCut網站上列舉了一些案例：
密歇根大學的Daniel Leventhal團隊跟蹤大鼠受訓抓取的動作。過程中人工標記了180幀。
哥倫比亞大學的Nate Sawtell實驗室跟蹤小鼠在踏板上的動作。旁邊放置了一塊鏡子，算法同時捕捉兩個視角上的軌跡。
Nate Sawtell實驗室還跟蹤了電魚的游泳動作。
在同期發表的一篇評議文章中，北京大學心理學系教授魏坤琳與賓夕法尼亞大學Konrad Kording肯定了這項研究的價值。DeepLabCut理論上可以處理任何視頻中的動作，現在互聯網上的海量視頻數據，將成為科學家們的富礦。
進一步展望未來，原本昂貴而費盡的動作捕捉技術會飛入尋常百姓家。
譬如，現在只有頂級運動員才能享受動作捕捉技術，且需要專業人士進行配套的分析。在未來，也許每個人在健身房里就可以在軟件的指導下更科學、更有效地鍛煉。
同理，物理治療和醫療康復項目中的動作捕捉技術十分昂貴，一些醫生只能靠肉眼觀察進行主觀判斷。普適而便捷的視頻動作分析將掀開精準醫療史上全新的一頁。
Mathis夫婦表示，他們已經收到了一些意想不到的郵件，比如科學家希望研究章魚等軟體動物以研發手術機器人，體育界人士希望分析棒球運動員的投球動作，甚至有一家公司希望用他們的軟件分析賽馬的勝率。
京公網安備 11010502049343號