人工智能的發(fā)展正經(jīng)歷從感知到認(rèn)知,從單模到多模,從云側(cè)到端云協(xié)同的演進(jìn)。此次,全面升級(jí)的華為云HiLens推出多模態(tài)開發(fā)環(huán)境HiLens Studio、開發(fā)框架HiLens Framework及技能市場(chǎng)HiLens Skill Market。

HiLens Studio:華為云HiLens在云側(cè)新推出開發(fā)環(huán)境HiLens Studio,開發(fā)者可以在線完成開發(fā)、調(diào)試、模擬運(yùn)行、部署和發(fā)布AI技能等功能,免去了線下環(huán)境搭建、線上線下切換等復(fù)雜步驟,沒有硬件套件也可以完成多模態(tài)AI應(yīng)用開發(fā)。傳統(tǒng)的AI應(yīng)用開發(fā)和部署意味著高成本和高門檻,借助HiLens Studio,AI應(yīng)用開發(fā)和部署僅需要三步:

在華為云一站式AI開發(fā)管理平臺(tái)ModelArts進(jìn)行模型訓(xùn)練與轉(zhuǎn)換,然后到HiLens Studio開發(fā)和調(diào)試技能,并可以在模擬器中查看技能輸出效果,完成后可以一鍵部署到HiLens Kit等端側(cè)設(shè)備,整個(gè)過程均在云側(cè)完成。Studio中的模擬器基于華為昇騰NPU,與HiLens Kit一致,和真實(shí)環(huán)境非常接近。

Framework:新推出的多模態(tài)AI應(yīng)用開發(fā)框架HiLens Framework,封裝了多模態(tài)數(shù)據(jù)接入、數(shù)據(jù)處理、模型推理和結(jié)果輸出等多個(gè)方便易用的組件,結(jié)合華為自研的昇騰芯片進(jìn)行了深度性能優(yōu)化,提供了多語言開發(fā)接口,用來開發(fā)AI應(yīng)用代碼更簡(jiǎn)潔、流程更清晰。例如,傳統(tǒng)方式的100+行代碼實(shí)現(xiàn)的音頻解碼+片段截取+預(yù)處理過程,通過HiLens Framework僅需3行代碼即可以實(shí)現(xiàn);20+行代碼實(shí)現(xiàn)的模型初始化+模型推理,縮減為僅需2行代碼。

技能市場(chǎng):華為云HiLens還提供開放的技能市場(chǎng)(HiLens Skill),預(yù)置豐富的各類場(chǎng)景技能和應(yīng)用模板,開發(fā)者可以一鍵安裝部署到端側(cè)進(jìn)行免費(fèi)試用,也可以在模板基礎(chǔ)上進(jìn)行修改、補(bǔ)充更多特性,無須從零開始,可以很快上手。

英國(guó)AI公司Emotech聯(lián)合華為云推出多模態(tài)AI英語口語教評(píng)解決方案,擁有全球首創(chuàng)的口型與發(fā)音結(jié)合的多模態(tài)技術(shù),具有良好的抗噪、抗干擾能力,多場(chǎng)景適用,相比單模態(tài)評(píng)分穩(wěn)定性提高30%。音頻與視頻的多模反饋,讓學(xué)生告別盲聽學(xué)口語時(shí)代,提供多感官的互動(dòng),使學(xué)習(xí)更加高效。

Emotech團(tuán)隊(duì)在華為開發(fā)者大會(huì)2020(Cloud)上演示了如何使用HiLens端云協(xié)同多模態(tài)AI應(yīng)用開發(fā)套件快速開發(fā)一個(gè)多模態(tài)口語測(cè)評(píng)Skill,并把它部署到端側(cè)設(shè)備HiLens Kit上。然后模擬學(xué)生在平板電腦上進(jìn)行跟讀,多個(gè)平板電腦可以把視頻數(shù)據(jù)送到算力強(qiáng)大的HiLens Kit上推理分析,降低時(shí)延的同時(shí)保護(hù)隱私,得到多模態(tài)口語測(cè)評(píng)得分。

Emotech團(tuán)隊(duì)演示多模態(tài)口語測(cè)評(píng)Skill開發(fā)

基于華為云HiLens,AI開發(fā)者可以開發(fā)出適用于智慧家庭、智慧教育、智慧門店、智慧工業(yè)、智慧交通等場(chǎng)景的多模態(tài)AI解決方案,快速實(shí)現(xiàn)AI應(yīng)用開發(fā)及落地。