如今,人工智能技術持續快速發展,在圖像識別、語音識別、語義理解等諸多特定領域已超過人類能力。
要滿足AI的巨大需求,讓AI成功的應用到千行百業,AI產業需要提供用得起、用得好、用得放心的軟硬件系統和解決方案。由于AI的強行業賦能屬性,AI產業要能夠和行業知識結合,促進真正的產業發展和生產力提升。當然,AI產業要真正產生價值,推動社會發展,面臨著很多的挑戰。
從AI算法到產品化落地存在巨大的挑戰,可以總結為八大鴻溝:
1. 模型獲取
AI算法層出不窮,同一領域甚至同一主題都有大量算法產生,然而算法是否能夠適應或者如何適應具體的應用場景?
首先,不同的行業數據導致模型的表現不同。訓練數據的不同會導致模型表現出現很大的差異。其次,模型對于不同場景也有適配性問題。那么,如何在層出不窮的模型里面選擇合適的模型,是很多開發者面臨的第一個挑戰。
而進行大規模的模型測試篩選,則需要巨大的時間和算力成本。如何在大量個性化和碎片化的場景下快速獲得實際表現良好的模型,工作量巨大。若針對場景沉淀針對性的數據和算法,進行最優的積累,形成行業最佳實踐,則可以在一定程度上緩解相關壓力。
2. 數據準備
準備場景化行業數據存在比較大的挑戰,需要進行數據的采集、清洗、標注、增強等工作依據準確度需求的不同,數據量也不同。如何有針對性的設計數據處理流程,快速獲得高質量的訓練數據,加速適配業務場景,是AI算法面向場景訓練需要解決的問題。
最理想的數據集,不一定是最大的,而是能夠真實反映實際業務的數據分布,但覆蓋所有情況的數據集是不現實的,采集的樣本或多或少都有一定的局限性。如何避免人為的局限和錯誤,是AI數據準備必須要解決的問題。
3. 模型訓練
在確保數據質量之后,還要進行復雜的模型訓練,而對于模型參數的調整,經常出現困難。復雜的訓練過程和調優過程,將大量的傳統行業開發者擋在門外。同時,算法在業務場景內的適應性測試和調整是復雜的。
4. 準確度驗證
訓練好的模型在業務場景中的表現,需要在完整的業務體系中完成驗證。模型的泛化能力,通常在實際場景里會受到極大的挑戰。由于測試環境和實際環境的不同,傳感器數據會受到環境影響產生不同的分布,進而可能影響模型的表現能力。針對復雜環境進行適應性的精調,是阻礙算法快速落地的因素之一。尤其是某些難例,在訓練集沒有出現的情況,同樣會導致模型的泛化問題。
5. 行業應用開發
AI算法具有強的行業屬性,必須作為行業應用的一部分,和行業知識結合,才能更好的發揮價值。AI算法所對應的模型需要接收各種輸入數據,并且由AI計算系統提供的各種形式的軟硬件環境來承載。不同的輸入數據類型、格式、速率、協議、接口形態等,都會對AI的應用開發系統產生整合要求。而面對多樣化數據所需要的多種處理架構,也會帶來異構算力整合的問題。
開發效率是影響AI在行業場景落地的重要因素之一。AI計算產業要能夠給開發者提供高效的開發體系和工具,提供完善的生態環境以及豐富的資源支持,尤其針對傳統行業的開發者,要能夠將復雜的AI開發過程簡單化,從而使開發者更關注行業場景的問題解決,從而快速推進行業對AI系統的適配。
6. NPU性能優化
應用性能是影響行業發展的重要問題。AI算力需要能夠真正的轉化為生產力,其實際的運行性能將決定系統最終的性價比和業務執行能力。復雜的異構優化體系,是計算系統所需要客服的挑戰。
7. 業務流程監控
如何確保AI系統在業務環境的持續準確高效運行,是行業應用所需要關注的問題。隨著業務場景和環境的變化,傳感器數據和環境數據會產生偏移,這些偏移對于行業AI應用的準確度會產生不可忽視的影響,尤其是高精度的場景。AI業務系統要求能夠及時發現這些準確度影響的問題和場景,并且能夠提供持續算法更新和增量學習等能力。
8. 適配開發
面對不同的業務場景,通常需要以服務化和API的形式來封裝AI業務,為上層應用提供較好的接口。但是,由于場景的復雜性,開發和維護對應的API和服務是現實的挑戰。
如何構建統一的服務架構和API封裝,以適配不同場景的實際業務化運行需求,同樣存在困難。部署AI計算系統到實際的業務系統中,也面臨著挑戰。不同的行業,所采用的操作系統、基礎軟件、通信系統、存儲系統等,都會出現差異,隨之帶來碎片化的解決方案,嚴重影響到應用開發的效率和成本。
在差異化的軟硬件體系中,使用統一的應用開發體系,水平整合技術棧,增強對于底層系統的抽象能力,建立標準和統一的平臺及接口體系,也是AI行業應用開發的關鍵。所以,在設計具體場景的AI業務軟件系統時,所需要考慮的適應性、可裁剪性、可伸縮性等細節特性要成倍增加。同時在設計硬件方案時,需要考慮到各種嚴苛條件下,系統的可靠性、可服務性以及對整體軟硬件系統的性能影響。
因此不難看出,當AI技術進階到行業深水區,需要使能更多場景和設備時,AI開發者面臨的將是一個規模化的系統性設計問題,而不再僅僅是單純的模型和業務軟件開發。