人工智能芯片早已成為芯片巨頭關注的焦點，早些時候，Nvidia就宣布將把某些Nvidia的技術整合到ARM的芯片設計中，特別是針對物聯網設備實現AI的處理器優化。雷鋒網(公眾號：雷鋒網)消息 ，近日高通推出視覺智能平臺，搭載了采用10nm FinFET制程工藝、專門面向IoT的SoC。QCS605和QCS603 SoC集成ISP、高通AI Engine及連接和安全技術，能為終端側的攝像頭處理和機器學習提供強大的計算能力，面向廣泛的物聯網應用。

高通新SoC平臺如何讓IoT設備也實現AI功能?高通IoT產品經理Seshu Madhavapeddy為此做了進一步解讀。

為什么需要視覺智能SoC平臺?

正如20世紀80年代PC消除了高價值計算必須在大型主機上運行，智能物聯設備以及支撐這些設備的芯片正在證明AI計算也可以在邊緣完成，而非僅僅在云端。越早打破數據中心在AI中的獨特地位，AI能更早和容易被普通終端用戶和開發者所接受。

Madhavapeddy表示新的SoC平臺為IoT邊緣計算而設計，通過讓更多地計算在設備中進行盡可能減少數據向遠程基礎設施傳輸，讓物聯網終端變得更加智能。QCS605和QCS603 主要面向智能視覺領域，應用于安防攝像頭、運動攝像頭、可穿戴攝像頭、虛擬現實(VR)360度與180度攝像頭、機器人和智能顯示屏等。

Madhavapeddy進一步解釋，之所以要推出新的平臺是因為IoT攝像頭與手機攝像頭有較大的區別。首先，與手機攝像頭不同，IoT攝像頭往往工作在低光照環境;其次，IoT攝像頭有非常不一樣的圖像穩定需求，IoT攝像頭所需的并非模糊不清的快照，而是運動場景中頭盔上的視頻拍攝，或無人機在執行任務過程中攝像頭的清晰和實時反饋。

高通視覺智能平臺(Qualcomm Vision Intelligence Platform)

詳解QCS605和QCS603

高通AI Engine

高通新推出的視覺智能SoC平臺集成Qualcomm人工智能引擎AI Engine，AI Engine由多個繼承的硬件和軟件組件組成。包括了驍龍神經處理引擎(NPE)軟件框架，其中包含采用TensorFlow、Caffe和Caffe2框架進行開發的分析、優化與調試工具，ONNX(Open Neural Network Exchange)交換格式，以及Android Neural Network API和Qualcomm Hexagon Neural Network庫。AI Engine還包括軟件開發工具包SKD。當然，高通希望開發者和OEM廠商能輕松將訓練網絡接入到此平臺。

基于AI Engine和驍龍神經處理引擎軟件框架，視覺智能平臺可為深度神經網絡推理提供高達每秒2.1萬億次運算(TOPS)的計算性能。同時，人工智能引擎也可以優化推理，即根據部署到設備的機器學習模型對圖像數據進行評分。當然，模型訓練仍然會在使用大量GPU具有更強性能的云端進行。

視頻特性

Madhavapeddy表示，圖像不僅僅是靜態的，也有動態的視頻，不過603和605都具有強勁的視頻性能。605支持4K@60fps和1080p@60fps、4K@30fps和720p@30fps的視頻流，以及更低分辨率的多個并發視頻流。

為了實現非凡的圖像質量，視覺智能平臺集成了支持雙1600萬像素傳感器的雙14位Qualcomm Spectra 270 ISP。此外，該視覺智能平臺包括物聯網細分領域所必需的視覺處理功能，如可防止高動態范圍視頻出現“疊影”效果的交錯式HDR(staggered HDR)、電子穩像、畸變校正、降噪、色差校正，以及硬件運動補償時域濾波(MCTF)。

異構計算架構

視覺智能平臺QCS605芯片組的異構計算架構，集成八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量處理器。該視覺智能平臺的集成式顯示處理器可為一系列顯示屏提供硬件加速合成、3D覆蓋，以及包括OpenGL、OpenCL和Vulkan在內的主流圖形API支持。該架構支持多種高級操作系統，能幫助開發者和制造商在其解決方案中輕松構建差異化特性，如VR 360度攝像頭的端側內容拼接，自主機器人導航與避障，以及運動攝像頭的視頻摘要。

QCS603和605都集成Adreno GPU、多核Kryo CPU、和Hexagon 685向量處理器以及高通AI Engine，都屬于為電池供電產品設計的低功耗產品。對比而言，605是8核CPU，603是雙核CPU， 603的運行功率更低、芯片更小，以更低的規格實現更多的功能。

Wi-Fi、音頻、安全特性

據雷鋒網了解，高通視覺智能平臺都板載Wi-Fi，605具備MU-MIMO和雙頻并發特性的2x2 802.11ac Wi-Fi、603具備1x1 802.11ac Wi-Fi。

音頻方面，支持Qualcomm 3D音頻套件、Qualcomm Aqstic音頻技術和Qualcomm aptX音頻。該平臺還具備Qualcomm噪音抑制與回音消除技術，以終端側音頻分析與處理特性，支持自然語言處理、音頻語音識別和語音插播功能，打造可靠的語音界面，甚至在吵鬧或嘈雜的環境，或當用戶遠離終端時也可實現。

視覺智能平臺基于硬件的安全特性可通過下列功能支持可靠的物聯網終端，包括硬件可信根的安全啟動、可信執行環境、硬件加密引擎、存儲安全、貫穿生命周期控制的調試安全、密鑰分發和無線協議安全等。