人工智能離不開模型算法的優化,同樣也離不開底層硬件所提供的性能支持。高通方面作為手機市場中最主要的供應商之一,對于人工智能方面也有著一套獨特的做法,高通在人工智能方面有哪些特色,高通產品市場總監劉學徽就為我們進行了一番分享。
云端與終端缺一不可 終端側性能影響最終體驗
人工智能在近年的發展比較迅速,其主要有終端側與云端兩種不同的配備方案。兩種方式各有所長,云端的優勢在于它的資源非常豐富,不管是計算資源、能效還是內存,都可以通過強大的計算能力來實現相應的運算處理。終端側的限制條件較多,計算力、電池、存儲空間都會受到限制,更適合做一些快速的運算。
人工智能的運用,顯然是要通過云端與終端兩方面相結合才能夠獲得優秀的體驗。目前的手機市場中,在云端方面大多負責AI模型的培訓,畢竟這方面所需要的大規模運算時,在終端側根本無法實現。另外云端側還要負載在終端側無法處理的信息。
終端側則使用云端已經訓練好的模型,力圖以最小的功耗來提供最優秀的性能表現。因此就實際的用戶體驗來說,終端側與用戶的聯系是遠遠超過云端的,而影響人工智能使用體驗的主要因素,也是在于我們手機終端側的性能表現上。
高通三代AI引擎迭代 打造生態推動AI發展
高通作為AI方面的主要推動者之一,十分注重終端側性能表現,驍龍人工智能引擎(AIE)目前已經發展到了第三代。高通早在2008年就開始涉足AI方面,在2015年開始推出產品,當時Facebook率先在AI方面定義了Caffe模型,高通驍龍820就在CPU上實現了Neon加速。
第二代支持AI的平臺驍龍835,已經通過神經處理SDK很好地支持了TensorFlow和Caffe兩大主流框架。CPU、GPU和DSP均可以支持運算,尤其是在GPU和DSP上,能夠讓AI運算的性能和功耗都得到顯著優化。
隨著AI的興起以及整個市場規模的不斷壯大,在TensorFlow、Caffe之外,百度PaddlePaddle、商湯Parrots、Android NN等等模型的推出,對終端側提出了更高的要求。驍龍845平臺作為高通的第三代AI平臺,對上述模型有著全方位的支持。
人工智能AI方面除了硬件的基礎性能外,軟件優化也能夠顯著的提升性能表現?;诟咄ǚ矫娴臏y試數據,在硬件配置完全相同的情況下,對軟件方面的優化能夠大幅提升性能表現,在一年的時間里就能讓性能翻一番。因此,高通人工處理引擎AI Engine不僅是硬件上的提升,同時強調軟件對模型、算法的支持和優化。
此外,高通方面還在與整個生態系統合作伙伴共同推動AI的發展。商湯、Face++、虹軟等廠商所推出的創新性的算法和應用在驅動高通方面不斷的進行改進。同時,高通也與騰訊等云端服務商合作,借助驍龍神經處理SDK來進行終端側的實際應用。比如手機QQ的“高能舞室”功能,就是直接運行在手機上的人工智能神經網絡,無需在云端進行處理。
AI性能衡量標準 要看模型與效率
在面對以往設備的性能問題上,往往都具備一個大家所公認的基準測試標準,也就是俗稱的跑分,但是AI所誕生的這三年時間里,卻并沒有一個所公認的標準,大家對于AI方面的性能描述,還要依靠實際的使用,這也導致用戶對于AI性能沒有一個衡量標準。
對于AI基準測試,高通方面認為有三個至關重要的指標:第一是準確率,第二是性能,第三是能效。上述三個重要指標的實現,可以在真實使用環境中帶來很好的用例,而真實生活中的用例才應是衡量AI基準測試真正關鍵的指標,并不僅僅是網路,而是真正的通過神經網絡帶來的用例。
現在市面上有很多基準測試工具,使用的模型不同、權重不同,那么測試結果也會不同。甚至有些模型完全沒有實際的應用落地,只是能夠進行壓力測試,而這樣的模型所表現出的性能基準測試成績,甚至可以說是毫無意義。高通方面對于目前主流的神經網絡模型進行了一個曲線分析,ResNet50和Inception-V3是當下在終端側效率最高的,能夠讓用戶獲得最好的體驗,是高通方面認為基準測試應當最為看重的。
另外AI基準測試軟件的性能表現,會受到測試機型驅動程序的影響,如果不使用最新的軟件版本的話,是無法啟用相應硬件的加速的。高通方面對于新版本系統的驅動程序已經進行了跟進,最新的Android 9.0系統中,高通方面已經開始了Adreno GPU的驅動程序更新,在運用新款驅動后,在AI基準性能測試中的成績會有很明顯的變化。