AI芯片，你要的評測標準還在路上

近日，清華大學發(fā)布的《2018人工智能芯片研究報告》(以下簡稱《報告》)指出，人工智能芯片是人工智能時代的技術核心之一。目前人工智能還處于面向行業(yè)應用階段，生態(tài)上尚未形成壟斷，國產處理器廠商與國外競爭對手在人工智能這一全新賽場上處在同一起跑線上。

然而，“當前國內缺失人工智能芯片的相關評測標準。”在中國科協(xié)主辦的第二屆“風向標——中國創(chuàng)新創(chuàng)業(yè)先鋒論壇”上，人工智能芯片企業(yè)鯤云科技創(chuàng)始人牛昕宇指出，這造成大家不知道自己研發(fā)的芯片在國際上處于什么樣的水平。而獲知一款芯片性能如何，最直接的方法是進行評測。“這就需要一套公認的評測標準”。

人工智能芯片評測到底多重要、多緊迫?怎樣建立一套公認的評測標準?對此，科技日報記者采訪了相關業(yè)內專家。

全球范圍內尚無公認評測指標

牛昕宇向科技日報記者表示，國際上，缺乏統(tǒng)一的芯片評測標準也是一個比較大的問題，包括英偉達、英特爾等公司的芯片性能也主要依靠芯片廠商自家發(fā)布。“全球多個機構都在嘗試給出評測方案，然而現(xiàn)狀就是無公認基準測試方法和指標。”中國人工智能產業(yè)發(fā)展聯(lián)盟評估認證工作組組長曹峰說。

“從政府、用戶、系統(tǒng)集成廠商到算法開發(fā)者，全部無法準確評價所使用芯片的技術水平以及在國內外所處的地位，無法選取最適用于自己需求的底層芯片，芯片企業(yè)無法清晰確認自己的技術優(yōu)勢及目標市場。”牛昕宇對此感慨頗深。

人工智能芯片與傳統(tǒng)計算芯片不同，它要求高效實現(xiàn)深度學習算法對海量數(shù)據(jù)高吞吐量等高并行化任務的處理。曹峰介紹，當前人工智能芯片主要分兩大體系，馮諾依曼體系和非馮諾依曼體系。

馮諾依曼體系以五大架構芯片為代表，分別是CPU、GPU、DSP、FPGA和ASIC，在深度學習訓練環(huán)節(jié)和終端推斷方面發(fā)揮重大作用。非馮諾依曼體系，以IBM TrueNorth芯片為代表，采用人腦神經元的結構來提升計算能力，但目前還處于實驗室階段。

中國信息通信研究院DNN Benchmark項目負責人張蔚敏指出，人工智能在不同算法、不同場景下，對芯片提出了不同的要求。硬件架構、延遲、帶寬、能耗、神經網絡模型、參數(shù)都是用戶方選擇人工智能芯片的重要參考。

人工智能芯片為何要評測?“當前，AI芯片的功能日益復雜化、多樣化，一方面，芯片廠商紛紛給出不同的衡量標準，聲稱其產品在計算性能、單位能耗算力等方面處于行業(yè)領先水平;另一方面，需求方卻關心如何能從廠商給出的信息中判斷出芯片是否能實際滿足其真實場景的計算需求。”曹峰強調，“針對這一現(xiàn)狀，一個與真實場景緊密相連的、同時跨產品可比的測試評估方案的出現(xiàn)，迫在眉睫。”

“統(tǒng)一的芯片標準會降低芯片廠商、人工智能算法廠商的溝通成本，建立一個有序的競爭環(huán)境。”牛昕宇表示，國外現(xiàn)在有一些人工智能算法競賽，在一定程度上起到了對于人工智能算法的評測作用。我國人工智能企業(yè)也在嘗試給出評測方案，比如阿里的AI matrix，寒武紀的Benchip，以及百度的Deepbench等。

公司自行摸索增加開發(fā)成本

事實上，我國龐大的人工智能應用市場對底層芯片需求巨大，但本土人工智能芯片產業(yè)尚處于起步階段。“有一套衡量人工智能芯片性能的公認指標，我們才能知道自己前方的目標線在哪里。”牛昕宇呼吁道。

當前，“應用領域的差異性和實現(xiàn)選擇的多樣性導致很多測評難題。”曹峰舉例，如何讓評測指標在不同級別的設備中橫向可比?面對云端和終端的應用差異化現(xiàn)狀，如何構建相應的基準測試?如何為不同測試項目分配權重，以獲得一個相對公正客觀、有代表性的評分?

這種現(xiàn)狀讓人工智能整個行業(yè)倍感焦慮。“對人工智能行業(yè)的從業(yè)者來說，缺乏標準意味著缺乏統(tǒng)一的行業(yè)交流接口。”牛昕宇在接觸大量人工智能應用研發(fā)領域一線情況后發(fā)現(xiàn)，在制定人工智能整體方案時，如果無法對于底層芯片所能夠提供的性能和算力有一個準確的了解，難以在項目規(guī)劃初期就確定整體方案，需要在項目開發(fā)過程中不斷試錯來測試方案。“相當于每家公司要承擔部分芯片評測任務，大大提高了開發(fā)門檻。”

缺乏評測標準帶來諸多問題，人工智能芯片公司對此有更深刻的體會，牛昕宇直陳痛點，“無法通過公開統(tǒng)一的渠道來確定自家芯片技術在國際的地位，需要每家公司自行摸索，增加了芯片公司的成本。”

《報告》指出，長期以來，中國在CPU、GPU、DSP等處理器設計上一直處于追趕地位。然而，人工智能的興起，無疑為中國在處理器領域的發(fā)展提供絕佳機遇。傳統(tǒng)的計算架構無法支撐深度學習的大規(guī)模并行計算需求，人工智能芯片是人工智能時代的技術核心之一，決定了平臺的基礎架構和發(fā)展生態(tài)。

建議政府牽頭制定評測標準

當前國內外都將人工智能視為產業(yè)突圍的重大機遇。人工智能芯片作為底層技術，其應用領域也遍布金融、股票交易、商品推薦、安防以及無人駕駛等眾多領域。如何為蓬勃發(fā)展的人工智能芯片建立一套評測標準?

“確實需要國家牽頭來認證標準。”牛昕宇建議道，可以組織業(yè)內用戶企業(yè)形成需求標準，由落地應用牽引芯片評測標準。

當前，在國家發(fā)改委、科技部、工信部、網信辦指導下，由中國信息通信研究院等單位發(fā)起的中國人工智能產業(yè)發(fā)展聯(lián)盟，愈加重視芯片評估認證工作。目前已經聯(lián)合阿里巴巴集團、百度、寒武紀科技等多家企業(yè)，推出了AIIA DNN benchmark——人工智能端側芯片基準測試評估方案。

張蔚敏表示，該方案為芯片企業(yè)提供第三方評測結果，同時為應用企業(yè)提供選型參考，幫助產品找到合適其應用場景的芯片。目標為客觀反映當前以提升深度學習處理能力的AI加速器現(xiàn)狀，所有指標旨在提供客觀比對維度。以“版本迭代、不斷豐富、不斷完善”的工作方式，為更多評測應用場景、評測指標等提供評估方案。

“這是解決缺失人工智能芯片評測標準問題的一個起步。”牛昕宇進一步建議，今后希望有第三方機構能夠公開評測標準和流程，由芯片公司、算法公司、系統(tǒng)集成廠商、最終用戶共同商議通過;每年定期發(fā)布國內芯片公司以及國際芯片巨頭的芯片評測結果;政府對于人工智能芯片行業(yè)的支持政策可以參考評測結果。