(Movidius Myriad 2,圖片來源:Movidius)
編者按:本文作者為英梅吉CEO朱郁叢,該公司推出了基于手機攝像頭的手勢交互產品Hand CV。
背景:科技界又迎來了一樁大額收購案,芯片巨頭英特爾收購了硅谷計算機視覺領域的初創公司 Movidius,該公司主要產品為低功耗視覺處理器:Myriad 系列 VPU。今年八月,Intel還以 3.5 億美元收購了主攻深度學習的公司 Nervana,這一筆收購能夠讓英特爾獲得深度學習的 IP 和具體產品,從而滿足 AI 開發及數據中心對芯片的強大需求。
要想解釋 Intel 為何會在短期內有如此大動作,先來看一下 2016 年的 CVPR。
(CVPR 全稱為 International Conference on Computer Vision and Pattern Recognition,計算機視覺及模式識別大會。涵蓋的問題包括但不限于:物體識別與檢測、圖像高級語義理解、人臉、優化方法、Correspondences求解、相機定位及三維地圖構建(SLAM)。CVPR 是計算機視覺的最大的年度聚會,2016 年收到投稿 2,145 份,接受論文 643 篇,接收率 29.9%,與會人數達 3,600 人。)
在這場全球頂級的計算機視覺領域大會上,據不完全統計,大概有 70%以上的文章均與深度學習有關,在圖像分類、物體檢測、語義分割等領域,深度學習取得的效果已經大幅領先傳 統算法。據微軟亞洲研究院所述,即使是在 3D 視覺、底層圖像處理等傳統方法相對主流的領域也有不少學者給出了自己的基于深度學習的解決方案。
以手勢識別為例,傳統的識別方案大都基于顏色空間,如 RGB,HSV 及 YCrBr。但這些算法都無法排除類膚色物體及黑色皮膚對識別精度的干擾。也有些算法通過對手型輪廓特征進行提取從而完成識別,如 HoG+SVM 的分類識別方法,但仍然無法提高在暗光、逆光等條件下的識別精度。但借助深度學習,如通過 R-CNN 訓練大量標注后的手勢圖像數據,得到的模型在處理帶有復雜背景及暗光環境下的手勢識別問題時,比傳統方案的效果優秀很多。
一方面深度學習可以給計算機視覺領域帶來空前的進步,但另一方面,該方法對硬件及數據的要求也是空前的。通過 R-CNN 網絡訓練一組手勢,大概需要 10 萬張預先標注好的圖片資源,同時,在學習圖像的過程中,它對 GPU 也有非常高的運算要求,訓練時間也不容小覷。 即使已經在高性能平臺得到了一個 R-CNN 或者 Faster R-CNN 的網絡模型,在某些低運算能力平臺(手機,平板)上運行識別算法時,也無法同時顧及到實時性和高識別率。比如,YOLO物體識別算法可以在高性能平臺達到 45 FPS,但其 mAP 只有 63.4 左右。而 mAP 更優的 Faster R-CNN,卻只有 7 FPS。
目前,如果想在手機等 GPU 性能很低的設備上運行深度學習算法,挑戰還比較大,只有通過對算法的優化,才能使其在目前主流的Android、iOS 平臺上運行。比如,在單目手勢識別領域,全球范圍內可給出商用解決方案的有來自以色列的 eyesight,superbreality 公司及中國的 Hand CV,其中,Superbreality 公司的解決方案更多依賴于對手勢輪廓的識別,Hand CV 的解決方案則融合了顏色空間、輪廓及 YOLO 深度學習的方案。所以,通過機器學習來解決計算機視覺問題的思路已經逐漸轉到了手機等移動平臺上來。
那么,既然深度學習對識別精度的提高如此明顯,就像當年 iPhone 5s 加入了 M7 協處理器一樣,計算機視覺領域在一些移動設備上也需要有一塊專門的低功耗處理芯片。它不但可以分擔 CPU 和 GPU 的任務,而且在處理深度學習的問題時更加高效,可以針對卷積神經網絡的訓練特征從芯片級別進行優化,從而促進基于深度學習的計算機視覺算法在移動設備上的普及。
就像背景描述里提到的,Intel 已經在為這個方向布局:同時,上游芯片供應商 NVIDIA 也在去年年底發布了 Jetson TX1 GPU 模塊,主要針對的也是人工智能市場。
(Jetson TX1 GPU 模塊包括一顆浮點運算達到 teraflop 級的、基于 Maxwell架構的 256 核心 GPU,64 位 ARM A57 芯片組、4GB LPDDR4 RAM 內存 (每秒帶寬速度達 25.6GB)、15GB 本地存儲模塊、802.11 2×2 ac Wi-fi解決方案以及 1Gb 以太網端口。同時還配備 Jetson Linux 軟件開發工具包。Jetson TX1 GPU 模塊的面積只有 50*87 毫米,僅一張信用卡大小。 雖然外形很迷你,Jetson TX1 GPU 性能卻不容小視。)
Jetson TX1 GPU 模塊的首批客戶包括微軟、亞馬遜、谷歌以及 IBM 等科技巨頭,它們將會在各自的無人機或者機器人設備搭載該模塊,從而流暢運行人工智能應用。以下便演示了該芯片與深度學習結合的一款應用產品:Kespry 無人機。
(Kespry 無人機:視頻)
計算機視覺領域原來一些看似不可逾越的鴻溝,被深度學習輕松踏過,而深度學習天生對運算性能要求高的弊端也必定會隨著硬件的成熟而解決。隨著 AI 技術的發展以及人們對之的重視,計算機視覺的應用場景不再局限于工業,已經慢慢走入大眾市場,如行車記錄儀的路牌、車道分析,基于手機的移動 VR 的手勢識別等等,這些功能的高質量實現都需要在 CPU和 GPU 性能有限的情況下運行深度學習的算法,那么, 一款專門的 CV 處理芯片對于整個芯片制造業都會是下一個綠洲,這也是為什么 Intel 會在短時期內收購生產視覺處理器的Movidius 公司和深度學習公司 Nervana。同時,由于手機、平板、無人機等設備對功耗的敏感特性,就需要這塊專門處理 CV 內容的芯片以低功耗運行。
所以,計算機視覺領域遇到的問題可以更好的被深度學習解決,而深度學習在移動平臺上運行的問題,最終將會被低功耗的 CV 處理芯片解決,真正的 AI 離我們越來越近了。