近幾年人工智能技術(shù)得以迅猛發(fā)展,這和云計算提供的強(qiáng)大算力和大數(shù)據(jù)領(lǐng)域多年的積累是分不開的。而就在人人探討如何打破數(shù)據(jù)孤島,“數(shù)據(jù)中臺”已成為大數(shù)據(jù)領(lǐng)域的一個重要理念之時,騰訊卻表示,在打通數(shù)據(jù)和利用數(shù)據(jù)方面,數(shù)據(jù)保護(hù)和隱私保護(hù)是最需要優(yōu)先考慮的。
“數(shù)據(jù)中臺的建設(shè)目標(biāo),是對業(yè)務(wù)系統(tǒng)和應(yīng)用開發(fā)者提供更加高效、簡潔、靈活的數(shù)據(jù)服務(wù),使得上層建筑不會受限于底層多變的數(shù)據(jù)格式、數(shù)據(jù)類型、數(shù)據(jù)處理和管理邏輯以及復(fù)雜的基礎(chǔ)架構(gòu)建設(shè)和運維,從而最大限度的釋放數(shù)據(jù)的價值,幫助業(yè)務(wù)團(tuán)隊及時滿足復(fù)雜、快速、多變的市場和客戶需求。” 在 5 月 21 日召開的騰訊全球數(shù)字生態(tài)大會上,騰訊云副總裁王龍接受采訪時說道,“騰訊從未表示不做數(shù)據(jù)中臺,只是我們認(rèn)為,并不是一定要把騰訊數(shù)據(jù)打通并開放使用才是“數(shù)據(jù)中臺”。 騰訊的做法是從客戶的真實需求出發(fā),把騰訊積累多年的構(gòu)建數(shù)據(jù)服務(wù)的一系列工具開放出來,幫助客戶構(gòu)建更加適合自身的數(shù)據(jù)中臺。”
騰訊公司高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群總裁湯道生也表示,基于扎根消費互聯(lián)網(wǎng) 20 年,騰訊將會把業(yè)界領(lǐng)先的技術(shù)和數(shù)據(jù)中臺能力進(jìn)一步開放,其中技術(shù)中臺就包括通信中臺、AI 中臺、安全中臺等,數(shù)據(jù)中臺括包括用戶中臺、內(nèi)容中臺、應(yīng)用中臺等。
在產(chǎn)業(yè)互聯(lián)網(wǎng)時代,數(shù)據(jù)中臺對于企業(yè)的業(yè)務(wù)發(fā)展來說,起著更加重要的作用。那么,騰訊如何布局?jǐn)?shù)據(jù)中臺?如何以數(shù)據(jù)中臺為基礎(chǔ),不斷拓展其 AI 發(fā)展和應(yīng)用的邊界?騰訊云 AI 下一站又如何布局呢?
騰訊云副總裁 王龍
從數(shù)據(jù)中臺到AI中臺
“與數(shù)據(jù)中臺類似,AI 中臺也需要為業(yè)務(wù)系統(tǒng)和應(yīng)用開發(fā)者提供簡單、高效、靈活的各種 AI 服務(wù)。在這個過程中,數(shù)據(jù)中臺一方面成為 AI 模型訓(xùn)練中非常重要的數(shù)據(jù)和算力來源;另一方面,AI 推理的結(jié)果也能夠反饋給數(shù)據(jù)中臺,提升數(shù)據(jù)中臺的服務(wù)能力。”
5 月 22 日,在騰訊數(shù)字生態(tài)大會 AI 專場上王龍稱,人工智能已經(jīng)逐步進(jìn)入深水區(qū),在很多場景下,需要多種數(shù)據(jù)、算法和模型聯(lián)合使用來提升 AI 服務(wù)的效果。
早在此前 Analytics Vidhya 發(fā)布的一份 2018 人工智能技術(shù)總結(jié)與 2019 趨勢預(yù)測報告中,Analytics Vidhya 就曾對人工智能技術(shù)在實際場景中的落地進(jìn)行預(yù)測,并表示在 2019 年,計算機(jī)視覺等領(lǐng)域?qū)ΜF(xiàn)有方法的改進(jìn)和增強(qiáng)可能多于創(chuàng)造新方法。
以騰訊云業(yè)界領(lǐng)先的刷臉支付和實人實名驗證場景為例,就需要使用騰訊優(yōu)圖的 OCR、人臉比對、活體檢測等多種人工智能算法來確保核驗的效果,有時甚至需要使用更為前沿的唇語檢測、聲紋識別能力。再加上已經(jīng)成熟應(yīng)用多年的大數(shù)據(jù)風(fēng)控和安全模型,合作伙伴和客戶的業(yè)務(wù)辦理就能得到更強(qiáng)大、更全方位的安全保障。
再以騰訊云在保險行業(yè)推出的智能核保解決方案為例,多種 OCR、機(jī)器學(xué)習(xí)和 NLP 算法相結(jié)合,就能智能化的處理從客戶提交投保材料到產(chǎn)生核保結(jié)果的全流程,提升企業(yè)運作的效率和終端用戶的體驗。
AI 模型訓(xùn)練方面也是如此。以已有眾多社交、游戲、電商、金融等行業(yè)客戶的騰訊云 ASR 服務(wù)為例,這一來自于微信智聆和微信智言團(tuán)隊的服務(wù),基于多種序列神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),如 LSTM、AttentionModel、DeepCNN 等,采用 Multitask 混合訓(xùn)練方法,結(jié)合 T/S 方式,使得騰訊云 ASR 服務(wù)在通用和垂直領(lǐng)域都有行業(yè)領(lǐng)先的識別精度。
“AI 中臺和數(shù)據(jù)中臺也有顯著的差異。要給業(yè)務(wù)系統(tǒng)和應(yīng)用開發(fā)中提供高效、簡單、靈活的 AI 服務(wù),除了要解決傳統(tǒng)數(shù)據(jù)中臺遇到的困難,還需要關(guān)注另外兩個更加復(fù)雜的緯度:一是使用的數(shù)據(jù)常常來自于非手機(jī)之外的智能設(shè)備,例如各種攝像頭、傳感器等,其質(zhì)量和規(guī)模受外界環(huán)境影響很大,導(dǎo)致 AI 應(yīng)用效果常常很不穩(wěn)定,且難以標(biāo)準(zhǔn)化擴(kuò)展;二是深度神經(jīng)網(wǎng)絡(luò)的不可解釋性,導(dǎo)致超出預(yù)期的數(shù)據(jù)標(biāo)注成本、模型優(yōu)化次數(shù)和訓(xùn)練時長,這成為 AI 應(yīng)用規(guī)模化的巨大瓶頸。騰訊推出的云智天樞人工智能服務(wù)平臺,其目的和使命就是為了解決這些問題。”王龍進(jìn)一步闡述了 AI 中臺和數(shù)據(jù)中臺的定位。
AI中臺賦能云邊端:騰訊云智天樞架構(gòu)初探
借助一個平臺或者中臺,將軟件服務(wù)中代表成本和效率的標(biāo)準(zhǔn)化,與代表客戶體驗和業(yè)務(wù)敏捷度的的定制化做更好的平衡,這是所有新技術(shù)的發(fā)展趨勢。AI中臺充分利用數(shù)據(jù)中臺能力的同時,需要更有效的圍繞AI來構(gòu)建智能服務(wù)的各層架構(gòu),它嘗試解決如下的問題:
和數(shù)據(jù)平臺結(jié)合,利用其能力作為數(shù)據(jù)支撐,最大化的發(fā)揮數(shù)據(jù)平臺的價值;
高效拆分服務(wù)構(gòu)建環(huán)節(jié),智能服務(wù)開發(fā)流程化,快速響應(yīng)業(yè)務(wù)需求;
利用元數(shù)據(jù)管理方式,提供統(tǒng)一的標(biāo)準(zhǔn)格式,場景可以多人協(xié)同配合開發(fā);
基礎(chǔ)設(shè)施共享化,模型的訓(xùn)練和發(fā)布與數(shù)據(jù)平臺有效綁定,服務(wù)的構(gòu)建自動化;
統(tǒng)一的元數(shù)據(jù)管理系統(tǒng),模型的全生命周期可管理;
通用AI能力平臺化,降低人員要求,提升協(xié)作效率。
為此,騰訊憑借著多年的技術(shù)和能力積累,將AI能力應(yīng)用于產(chǎn)業(yè)中復(fù)雜的多算法融合場景,通過騰訊云智天樞人工智能服務(wù)平臺(以下簡稱為“云智天樞”)這一開放、高效的平臺服務(wù),不斷的輸出騰訊的AI中臺能力。
在本次大會上,“騰訊云智天樞”也發(fā)布了重大更新。針對其誕生背景、設(shè)計思路及底層技術(shù)實現(xiàn)方式,InfoQ記者也在會后對騰訊云內(nèi)部該平臺的負(fù)責(zé)人進(jìn)行了深度對話。
“云智天樞”的架構(gòu)類似操作系統(tǒng),既包括各種硬件的驅(qū)動程序,也包括各種組件開發(fā)、部署、監(jiān)控和管理工具。在應(yīng)用架構(gòu)方面,“云智天樞”從功能模塊上分為6大窗口,分別是應(yīng)用中心、AI工作室、算法倉庫、數(shù)據(jù)中心、設(shè)備中心、管理中心。而在技術(shù)架構(gòu)方面,“云智天樞”采用微服務(wù)架構(gòu)和容器化部署,架構(gòu)層次上采用典型的三層設(shè)計,包含網(wǎng)關(guān)接入層、邏輯層、存儲層。
同時,在此次騰訊全球數(shù)字生態(tài)大會上,騰訊云副總裁王龍也發(fā)布了“云智天樞”的重大更新——可實現(xiàn)10行代碼完成一個AI任務(wù)的編排與調(diào)度,快速構(gòu)建專屬云邊端智能應(yīng)用。
針對于平臺內(nèi)AI任務(wù)的編排與調(diào)度的實現(xiàn)方式,記者在采訪中得知,任務(wù)編排的本質(zhì)是需要實現(xiàn)一個流程引擎的運行DAG圖,讓流程引擎服務(wù)按照圖中配置的規(guī)則運行整個流程。作為“云智天樞”中的一個重要模塊,AI工作室承擔(dān)AI任務(wù)編排的重要工作。在AI任務(wù)編排的過程中,使用來自于設(shè)備中心、算法倉庫、數(shù)據(jù)中心等多方提供的組件,必然面臨不同的組件通信協(xié)議不一致的問題,此時,需要平臺提供合適的流程引擎來進(jìn)行適配和驅(qū)動。
在任務(wù)的調(diào)度方面,AI工作室實現(xiàn)了中央調(diào)度服務(wù),中央調(diào)度服務(wù)主要實現(xiàn)兩個大方面的功能,即任務(wù)調(diào)度與容錯。中央調(diào)度服務(wù)的調(diào)度策略支持隨機(jī)調(diào)度,輪詢調(diào)度等。未來會實現(xiàn)按流程引擎服務(wù)的負(fù)載進(jìn)行調(diào)度,分配任務(wù)的時候優(yōu)先選擇負(fù)載低的節(jié)點,做到全局負(fù)載均衡。
而流程引擎服務(wù)本身是無狀態(tài)的,每次運行都會根據(jù)中央調(diào)度服務(wù)無的指令來執(zhí)行任務(wù)。中央調(diào)度服務(wù)會收集每個流程引擎服務(wù)的狀態(tài),當(dāng)發(fā)現(xiàn)有服務(wù)宕過,會重新把原屬于該節(jié)點的任務(wù)再分配給這個服務(wù)。當(dāng)發(fā)現(xiàn)服務(wù)是宕掉無法重啟或者機(jī)器死機(jī),會把屬于這個流程引擎服務(wù)的所有任務(wù)重新調(diào)度到其他流程引擎服務(wù)。
一個好的流程引擎,需要足夠穩(wěn)定,保證任務(wù)在執(zhí)行過程中不被頻繁的打斷或重啟。但目前常見的問題是,多個任務(wù)在同一個引擎上運行,當(dāng)一個任務(wù)在執(zhí)行中或者出現(xiàn)異常,將導(dǎo)致其他的任務(wù)不可用。AI工作室的流程引擎通過對任務(wù)進(jìn)行分組,而非無規(guī)則的混合部署,來避免此類問題的產(chǎn)生。按任務(wù)分配流程引擎的方式,一個任務(wù)獨占一個流程引擎的容器,完全規(guī)避任務(wù)之間的相互影響,從而提升穩(wěn)定性。
通過基于騰訊云智天樞構(gòu)建的AI中臺,開發(fā)者能夠簡單、快捷的連接和使用騰訊云的各種其他產(chǎn)品、服務(wù)和中臺能力。AI中臺不僅是數(shù)據(jù)中臺在業(yè)務(wù)上的演進(jìn),更是系統(tǒng)服務(wù)的重組的過程,而這個“持續(xù)智能”的過程正是AI落地的核心思想。
AI落地仍有挑戰(zhàn):AI中臺勢在必行
現(xiàn)如今,人工智能是解放生產(chǎn)力最直接的手段,也是產(chǎn)業(yè)升級必須跨越的“坎”。相比于前兩年,人工智能技術(shù)的熱度已經(jīng)漸漸趨緩。然而,對企業(yè)而言,AI的落地之路仍舊“坎坷”。
騰訊云副總裁王龍在大會現(xiàn)場表示,現(xiàn)如今,AI在產(chǎn)業(yè)互聯(lián)網(wǎng)落地仍面臨如下幾大挑戰(zhàn):
- 當(dāng)人工智能與企業(yè)生產(chǎn)應(yīng)用系統(tǒng)深度融合時,如何滿足AI激發(fā)出的創(chuàng)新訴求所帶來的應(yīng)用多樣性?
- 智能設(shè)備選型、部署環(huán)境,與算法的適配效果息息相關(guān),如何在這三者之間做最高效的集成和適配?
- 企業(yè)的真實場景中,已有IT系統(tǒng)和新增的智能設(shè)備,尤其是邊緣設(shè)備眾多,導(dǎo)致數(shù)據(jù)類型差異大,數(shù)據(jù)清洗、管理和標(biāo)注工作強(qiáng)度大,如何能夠大幅降低成本?
定制化建模成本高,人才匱乏,如何能夠真正可行的降低AI建模和調(diào)參的門檻?
AI數(shù)據(jù)和計算越來越多的發(fā)生在邊緣,如何能更好的和云的基礎(chǔ)設(shè)施配合,達(dá)到更高的利用效率?
對此,王龍認(rèn)為:“應(yīng)用場景、資源與基礎(chǔ)設(shè)施、算法和模型、智能設(shè)備、數(shù)據(jù)質(zhì)量和規(guī)模構(gòu)成了AI技術(shù)落地的五個密不可分的要素。如何將這五大要素實現(xiàn)高效協(xié)同,是AI技術(shù)在產(chǎn)業(yè)界落地中的關(guān)鍵,也是AI中臺最重要的任務(wù)之一。”
從平臺到中臺,助力AI技術(shù)一步步落地,是一個循序漸進(jìn)的過程。數(shù)據(jù)中臺和AI中臺都應(yīng)秉持相同的理念,降低新技術(shù)應(yīng)用的門檻,提升各行各業(yè)的數(shù)字化和信息化水平,助力產(chǎn)業(yè)互聯(lián)網(wǎng)的智能化升級。
“數(shù)據(jù)中臺和AI中臺都只是工具,企業(yè)需要從自身的市場和業(yè)務(wù)狀況、IT技術(shù)能力和人才儲備的真實水平出發(fā),以共享服務(wù)、整合資源、降低成本、提升效率為目標(biāo),在管理文化、組織架構(gòu),業(yè)務(wù)流程等多方配合改進(jìn),才能更好的發(fā)揮中臺的作用,真正提升業(yè)務(wù)的敏捷度和企業(yè)的創(chuàng)新能力。” 王龍最后表示。