論壇的核心部分是驍龍710的發布、高通AI實驗室成立以及高通公布與大批AI廠商合作。除了展示對人工智能的景愿和布局外,論壇之后,高通還用了多達9個展區進行了人工智能產品的DEMO展示。
當中涵蓋了端側個人助理、加速算法硬件、驍龍AI手機、AI優化物聯網、未來汽車等多個領域。順著高通的展區規劃,就能一路看到高通和它的合作伙伴眼中的人工智能未來。
智能手機AI體驗
小米、OPPO、vivo、黑鯊、一加、錘子等大家熟悉的手機廠商,都出現在了高通的產品展示。現場的驍龍845和驍龍660AIE手機上,運行著一些我們或許熟悉但未曾留意到的AI應用。
高通驍龍人工智能平臺由Hexagon DSP、Adreno GPU 和 Kryo CPU組成的人工智能引擎(即AIE),其構架可以直接運行商湯科技和曠視Face++的預先訓練的神經網絡。諸如單攝像頭的背景虛化、人臉解鎖、情景識別檢測等攝像頭相關的人工智能應用,很多其實都已經被廠商應用在量產機上了。
例如OPPO R15夢境版等手機中提供AI智慧美顏,能根據人臉特征點、膚色、年齡選擇特定的美顏方案,而小米、vivo、OPPO等廠商能在離線非云端的情況下,進行場景和標簽識別,然后配合特定場景自動選擇優化方案的AI智能場景識別,相信大家都比較熟悉了。
同樣是起源于AI物體識別的,現場也展示了2D面部解鎖,和之前在OPPO手機上使用的前置單攝像頭的AI背景虛化應用。
在論壇中宣布和高通合作的網易有道,則展示了非云端的實景AR翻譯功能。在高通的AI Engine(AIE)人工智能引擎,AR實景翻譯無需按下快門,而是直接對視頻流進行動態跟蹤及目標識別,宣稱帶來了超過10倍的動態最終范圍提升,減少運動中70%的無效識別,全面提升了識別準確度。
騰訊手機QQ應用中的“高能舞室”和曠視Face++的Animoji,等AI和AR交融的應用中,則是使用了驍龍人工智能引擎加速幀率,暴力的實時非云端視頻流處理,讓用戶可以和畫面中的虛擬物體進行實時的交互。另外也有Elliptic Labs的深度人像和超聲波手勢操控等看起來很科幻的應用。
高通視覺智能平臺
在展區2到展區4,是使用高通驍龍845工程機作為樣板的人工智能視覺展示。人工智能視覺主要方向很寬,從簡單到復雜,囊括了二維碼、手勢識別、車輛檢測、人臉、人體檢測等多種應用,它們被廣泛地應用在監控、智能交通、新零售、自然交互等場合。
此前基于深度學習的目標檢測技術運算量巨大,無法在嵌入式設備中實際部署。而高通在現場的驍龍845工程機,則使用MobileNet的物體檢測神經網絡。后者是Google推出的移動端本地神經網絡,優點的輕量化、計算消耗小、速度快,因此很適合用于手機或嵌入式視覺應用。
MobileNet的高效模型,其將卷積過程分為3×3深度方向的卷積和1×1點對點的卷積,構建輕量級深度神經網絡,可以讓移動平臺進行實時、非云端的物體檢測。
現場的另外一個智能視覺展示,來自于商湯科技的人臉檢測和識別。商湯的主業是計算機視覺和深度學習,是中國最大的人工智能算法供應商之一。其智能視覺用途涵蓋了人臉識別、圖像識別、視頻分析、無人駕駛、醫療影像識別等領域。
現場的驍龍845工程機運行的端側智能視覺網絡,可以實時對視頻流中的人臉進行檢測和比對識別。在現場26幀左右的視頻流中,3人臉出現的動態負載在50%以下,移動端的AI視覺性能和模型優化已經達到了較高的可用度了。
嵌入式自動浯音識別與縱目主泊車系統
在嵌入式和移動端的語音識別,則是得益于AI的加入而不斷提高精度,在不同的噪音環境,不再需要特定人聲就能完成精準識別。
AI時代,人機語音交互依舊需要先把語音轉為電腦能理解的文字,隨后就是三角獸等AI語義理解公司的移動端語音交互、多輪對話等人工智能應用。
而這個自動語音識別,被稱為VOICE UI。高通用驍龍845平臺展示了終端側的非云端神經網絡,對語音進行的實時識別和自動語音處理。這個和Google百度的語音技術最大的分別是本地性,非云端,在隱私保護、及時響應和隨時感知上有巨大的優勢。
在智能駕駛這邊,則是縱目的主泊車系統。雖然沒有自動駕駛那么兇殘的性能要求,而自動泊車也是低速的自動駕駛應用,涉及毫米波雷達、障礙物感知、人體識別等多個人工智能領域,當中的重點是低能耗和實時性的嵌入式開發。縱目在上一年末已經使用高通驍龍820A平臺,集成了自主泊車系統,宣稱系統功耗已經控制在15W以下。而根據現場介紹,搭載驍龍820A的這套系統甚至可以達到低速L4自動駕駛級別。