智東西此前也曾探討過未來一段時(shí)間里手機(jī)AI芯片競(jìng)爭(zhēng)的五大典型趨勢(shì)(決定未來的手機(jī)AI芯片五大趨勢(shì)，華為蘋果率先起跑)。這五大趨勢(shì)分別為架構(gòu)升級(jí)、工藝制程升級(jí)、系統(tǒng)層建設(shè)、應(yīng)用生態(tài)、體驗(yàn)進(jìn)化，而圍繞這五大趨勢(shì)的AI芯片行業(yè)升級(jí)，將很大程度上影響未來智能手機(jī)江湖市場(chǎng)格局。
而在智能手機(jī)領(lǐng)域，隨著智能手機(jī)廠商的競(jìng)爭(zhēng)越來越激烈，智能手機(jī)市場(chǎng)不僅拼外形、拼服務(wù)，更是拼上了AI、拍照等“新技術(shù)、硬科技”。這些技術(shù)的實(shí)現(xiàn)離不開芯片作為核心進(jìn)行支持。于是，智能手機(jī)之爭(zhēng)，也進(jìn)一步演進(jìn)到了芯片之爭(zhēng)。
說到AI芯片帶給智能手機(jī)在體驗(yàn)方面的升級(jí)，華為的新款A(yù)I芯片麒麟980已從上一代的在拍照中進(jìn)行物體識(shí)別、場(chǎng)景識(shí)別，發(fā)展到針對(duì)視頻中人體姿態(tài)、動(dòng)作進(jìn)行實(shí)時(shí)AI分析。
近日，隨著麒麟980的首搭機(jī)型Mate 20系列正式發(fā)售，智東西也在第一時(shí)間拿到該產(chǎn)品。我們選擇了五個(gè)最能體現(xiàn)AI芯片能力的功能場(chǎng)景來探究，達(dá)到最新7nm技術(shù)標(biāo)準(zhǔn)的AI芯片，在突破手機(jī)應(yīng)用極限方面的表現(xiàn)到底如何?
AI芯片前沿技術(shù)的嘗鮮者——麒麟980
芯片是智能手機(jī)的大腦，在智能手機(jī)工作的每時(shí)每刻都在不停地進(jìn)行著計(jì)算。因此，芯片也決定著智能手機(jī)的性能和應(yīng)用的想象空間。
進(jìn)入2018年下半年，手機(jī)端AI芯片也發(fā)展到了一個(gè)新的階段，7nm制程工藝落地、多核處理單元架構(gòu)被華為、蘋果廣泛采用。麒麟980芯片作為這些最前沿技術(shù)的嘗鮮者，率先進(jìn)行了落地。
雙核的升級(jí)也給麒麟980芯片的AI運(yùn)算帶來了全面的提升，主要體現(xiàn)在視頻檢測(cè)、物體細(xì)節(jié)識(shí)別、物體分割這三方面上：原先單核NPU進(jìn)行AI物體實(shí)時(shí)識(shí)別時(shí)只能認(rèn)出輪廓，現(xiàn)在可以識(shí)別出畫面細(xì)節(jié);原先只能實(shí)時(shí)處理圖像，現(xiàn)在則可以做到實(shí)時(shí)視頻檢測(cè)和處理;原先在實(shí)現(xiàn)畫面實(shí)時(shí)物體分割時(shí)線條輪廓較為粗放，現(xiàn)在在雙核NPU的驅(qū)動(dòng)下則能做到更精細(xì)。
芯片行業(yè)本就費(fèi)時(shí)燒錢，7nm工業(yè)制程下集成69億晶體管更是對(duì)物理極限發(fā)起了挑戰(zhàn)。華為消費(fèi)者業(yè)務(wù)CEO余承東曾在麒麟980的發(fā)布會(huì)上說，麒麟980芯片的研發(fā)費(fèi)用高達(dá)數(shù)億美元(幾十億人民幣)。高昂的研發(fā)成本也成為了一堵高墻，將不少智能手機(jī)廠商阻攔在外。
縱觀整個(gè)芯片行業(yè)，目前高端智能手機(jī)芯片行業(yè)玩家并不多，只有蘋果、華為和高通三家。蘋果A12芯片已經(jīng)搭載在新款iPhone上，華為的麒麟980也已經(jīng)搭載在Mate 20系列上面世，高通的新一代7nm制程的AI芯片也將于今年年底正式亮相。
智能手機(jī)芯片行業(yè)的運(yùn)算力也在幾位頭部玩家的帶領(lǐng)下，正在沖擊新的高峰。在經(jīng)歷了一輪口水大戰(zhàn)之后，對(duì)新一代7nm制程工藝的AI芯片性能的考驗(yàn)則到了見真章的時(shí)候了。
麒麟980超高計(jì)算最藝術(shù)應(yīng)用：AI視頻留色
AI視頻留色是華為智能手機(jī)中新增的功能，其難點(diǎn)在于需要對(duì)視頻畫面進(jìn)行實(shí)時(shí)識(shí)別和實(shí)時(shí)處理。不同于對(duì)圖片的處理，AI視頻留色需要對(duì)視頻進(jìn)行實(shí)時(shí)處理，每秒需要處理幾十幀圖像，對(duì)手機(jī)芯片運(yùn)算能力是一個(gè)巨大的考驗(yàn)。
AI留色這一功能實(shí)際上是隱藏在相機(jī)錄像模式下的。點(diǎn)擊Mate 20 Pro相機(jī)進(jìn)入錄像模式后，界面左側(cè)會(huì)出現(xiàn)一個(gè)魔法棒標(biāo)志，點(diǎn)擊魔法棒后會(huì)出現(xiàn)多種特效模式，其中第一個(gè)就是AI色彩，也就是我們說的AI視頻留色功能。
從實(shí)際的體驗(yàn)情況來看，隨著人物的移動(dòng)，色彩信息也會(huì)實(shí)時(shí)進(jìn)行跟隨。除了對(duì)一個(gè)人物進(jìn)行測(cè)試外，我們還進(jìn)行了對(duì)多個(gè)人物識(shí)別畫面的測(cè)試。結(jié)果顯示，在多個(gè)人物出現(xiàn)時(shí)，相機(jī)會(huì)根據(jù)人物圖像在整體畫面中的比例，優(yōu)先對(duì)占比大的人像進(jìn)行處理。當(dāng)兩個(gè)人物與鏡頭距離相當(dāng)時(shí)，相機(jī)會(huì)對(duì)兩個(gè)人物都進(jìn)行留色處理。
智東西從華為算法工程師處了解到，這一功能需要分兩步實(shí)現(xiàn)，首先是對(duì)鏡頭內(nèi)的人物進(jìn)行實(shí)時(shí)識(shí)別和摳取人像，其次是而將背景部分黑白化。在NPU的加持之下，畫面將會(huì)呈現(xiàn)出如電影《Sin City》里的鏡頭一般，營(yíng)造出時(shí)空交疊般的錯(cuò)覺感。
摳取人像和進(jìn)行色彩保留并不是這項(xiàng)應(yīng)用的難點(diǎn)，而要做到精準(zhǔn)的實(shí)時(shí)識(shí)別并同時(shí)進(jìn)行處理則最為考驗(yàn)硬件能力。麒麟980在運(yùn)行人體分割的算法時(shí)，可以做到每秒30幀的處理速度，能夠?qū)σ曨l進(jìn)行實(shí)時(shí)精準(zhǔn)摳圖。同時(shí)，由于運(yùn)算是在麒麟980芯片上運(yùn)行的，即使在斷網(wǎng)狀態(tài)下該功能仍可以運(yùn)行。
AI視頻留色功能使用的是華為自研的人體檢測(cè)和識(shí)別的AI算法。據(jù)華為軟件工程師介紹說，該算法通過了對(duì)5000部電影，多達(dá)十幾萬張影視圖像的模型訓(xùn)練過程。在麒麟980雙核NPU、更高精度的深度網(wǎng)絡(luò)的加持下，最終呈現(xiàn)出了Mate 20 Pro中的大片般的特效。
與此同時(shí)，AI視頻留色這一功能，也成為了麒麟980芯片彰顯超高計(jì)算力的典型代表，并成為華為手機(jī)中最具藝術(shù)性的內(nèi)置AI應(yīng)用。
麒麟980超高計(jì)算最新奇應(yīng)用：卡路里識(shí)別
在麒麟970的加持下，華為智能手機(jī)已經(jīng)可以做到對(duì)物體的識(shí)別，而在麒麟980的加持下，新一代的華為旗艦機(jī)在對(duì)基本物體識(shí)別的基礎(chǔ)上又增加了卡路里識(shí)別的功能。
打開相機(jī)，在拍照模式下，界面的左上角會(huì)出現(xiàn)“慧眼”標(biāo)志。這個(gè)“慧眼”是華為手機(jī)智慧識(shí)屏的入口，其中包括掃碼、翻譯、購物和識(shí)物四個(gè)功能?？防镒R(shí)別這個(gè)功能就隱藏在“慧眼”識(shí)物這一功能下。不過，“慧眼”需要在網(wǎng)絡(luò)連接下進(jìn)行，無法在本地進(jìn)行識(shí)別的物體將被導(dǎo)入到第三方應(yīng)用中進(jìn)行查詢。
在識(shí)物模式下，你只需要將食物放置在鏡頭中，短短1秒中內(nèi)，手機(jī)就能夠自動(dòng)識(shí)別食物的品類，并估計(jì)出重量和卡路里數(shù)量。盡管這項(xiàng)應(yīng)用聽起來非常有趣，但想要做到即用即查、并以AR形式實(shí)時(shí)顯示則對(duì)芯片的性能要求非常高。
從實(shí)際體驗(yàn)上看，如果對(duì)同一個(gè)食物以不同的面進(jìn)行掃描，其對(duì)重量的估計(jì)會(huì)有差異。與真實(shí)數(shù)據(jù)相比，卡路里識(shí)別這項(xiàng)功能與物體真實(shí)重量之間有一定差距。但從體驗(yàn)的速度來看，在麒麟980的加持下，華為手機(jī)可以在1秒內(nèi)完成對(duì)食物卡路里的識(shí)別。
據(jù)華為相關(guān)算法工程師說，卡路里識(shí)別過程其實(shí)是分為兩步的：首先是對(duì)物體的識(shí)別，在這個(gè)過程中需要同步調(diào)出食物的卡路里庫，包含的信息是以g為單位的該食物的卡路里數(shù)量;然后再進(jìn)行體積估計(jì)，同時(shí)利用AR技術(shù)將結(jié)果標(biāo)簽與畫面進(jìn)行合成。
這位工程師還介紹說，目前基于麒麟980華為手機(jī)已經(jīng)可以實(shí)現(xiàn)對(duì)100多種食物進(jìn)行卡路里識(shí)別，能夠覆蓋大部分的水果，甚至是魚香肉絲類的普通家常菜。
麒麟980超高計(jì)算最安全應(yīng)用：3D結(jié)構(gòu)光解鎖
如今，智能手機(jī)成為人們形影不離的存儲(chǔ)設(shè)備，它不僅包含著各種文件、聯(lián)系人信息，還存儲(chǔ)著各種銀行賬號(hào)、支付密碼、地理信息，關(guān)乎著人們的財(cái)產(chǎn)和人身安全。與此同時(shí)，智能手機(jī)的保密性和安全性也越來越重要。人們也在追求更為安全的解鎖方式，而當(dāng)下被認(rèn)為最安全的就是生物信息解鎖，以3D結(jié)構(gòu)光解鎖最為典型。
在麒麟980芯片的加持下，新一代的華為旗艦機(jī)搭載了華為自研的3D結(jié)構(gòu)光技術(shù)，據(jù)稱人臉解鎖的速度小于0.6秒。
在利用3D結(jié)構(gòu)光進(jìn)行人臉解鎖之前，需要錄入人臉的數(shù)據(jù)信息。用戶需要拿著手機(jī)向著上下左右等8個(gè)角度轉(zhuǎn)頭進(jìn)行數(shù)據(jù)采集，系統(tǒng)會(huì)生成用戶的人臉數(shù)據(jù)模型作為樣本，用于每一次解鎖的數(shù)據(jù)比對(duì)。在實(shí)際體驗(yàn)中，搭載了麒麟980芯片的華為新旗艦機(jī)可以做到抬手亮屏，在1秒內(nèi)就可以實(shí)現(xiàn)解鎖。
筆者實(shí)際使用后的感受是，在麒麟980的加持下，華為新旗艦的人臉解鎖速度，比上一代Mate 10中的2D人臉解鎖更快。不過，為了保障點(diǎn)陣器將光斑精準(zhǔn)地投射到面部，用戶在使用時(shí)需要將面部和手機(jī)之間保持一定距離。
智東西在與華為軟件工程師的交流中得知，在進(jìn)行人臉識(shí)別和解鎖時(shí)，手機(jī)劉海屏內(nèi)搭載的點(diǎn)陣投影器會(huì)向人臉投射出超過3萬個(gè)面部信息點(diǎn)，并用這些數(shù)據(jù)給用戶的面部繪制一個(gè)精細(xì)萬張的3D面部模型。在每一次解鎖時(shí)，處理器都需要對(duì)這3萬個(gè)點(diǎn)攜帶的數(shù)據(jù)信息進(jìn)行計(jì)算和比對(duì)。需要運(yùn)行識(shí)別人臉的特征的算法，由于對(duì)計(jì)算力要求較高，這一算法必須跑在NPU上。
由此看來，每一次3D人臉解鎖的過程，對(duì)智能手機(jī)芯片都是一次運(yùn)算力的大考驗(yàn)。而在應(yīng)用上，麒麟980也賦予3D結(jié)構(gòu)光更多的應(yīng)用場(chǎng)景，在Mate 20 Pro上還有3D智能美顏、3D Qmoji表情、3D建模等諸多應(yīng)用。
麒麟980超高計(jì)算最實(shí)用應(yīng)用：個(gè)性化景深控制
圖像處理是當(dāng)下AI技術(shù)的發(fā)源應(yīng)用，在智能手機(jī)中，拍照、處理圖片成為最典型同時(shí)也是最豐富的應(yīng)用。在AI芯片的加持下，場(chǎng)景識(shí)別、物體識(shí)別等多種拍照應(yīng)用已經(jīng)成為了智能手機(jī)的標(biāo)配。
景深控制是在在攝影藝術(shù)中非常常見的一種形式，它的基本原理是：在景深范圍內(nèi)景物影響的清晰度是不完全一致的，焦點(diǎn)的清晰度最高。而對(duì)于相機(jī)來說改變焦點(diǎn)的位置，才能呈現(xiàn)不同的景深程度。
而在麒麟980的加持下，華為新一代的旗艦機(jī)則能支持個(gè)性化景深控制(Bokeh)，可以使用戶自主調(diào)節(jié)背景的虛化程度。這一功能的實(shí)現(xiàn)并非需要重新調(diào)整手機(jī)焦距重新進(jìn)行拍照，而是在麒麟980上通過運(yùn)行特定的AI算法進(jìn)行實(shí)現(xiàn)的，其與傳統(tǒng)相機(jī)的區(qū)別則可總結(jié)為“先拍照后對(duì)焦”。
景深控制位于Mate 20相機(jī)中人像模式下，啟動(dòng)開關(guān)位于界面左側(cè)，Logo看起來像是個(gè)星星，其中提供的景深模式包括圓形、心形、旋焦和魚鱗四種景深模式。值得一提的是，景深控制還可以配合人像模式下的影棚光、炫彩、窗影、波普光、劇場(chǎng)光五種光效以及最高10級(jí)的美顏功能一起使用。
從實(shí)際體驗(yàn)來看，在麒麟980的加持下，特殊景深控制、特殊光效和美顏功能都可以一起實(shí)現(xiàn)。不過，在對(duì)人像摳圖的邊緣處理上有些瑕疵，但相比于大部分的圖像處理軟件來說，效果還是非常好的。
在與華為軟件工程師的交流中，智東西了解到，景深控制的原理主要是對(duì)圖像背景虛化的控制，運(yùn)用的也是物體識(shí)別與分割算法。首先需要分割出人體的區(qū)域，然后再調(diào)用虛化和模糊包模版，對(duì)背景進(jìn)行虛化。而這種算法對(duì)運(yùn)算力的要求非常高，必須在NPU上才能進(jìn)行。
因此，在麒麟980的高運(yùn)算力加持下，個(gè)性化的景深控制等以往需要長(zhǎng)時(shí)間修圖處理才能獲得的藝術(shù)感已經(jīng)能讓人們?cè)诜置胫g輕松獲得。
麒麟980超高計(jì)算最刺激應(yīng)用：GPU Turbo 2.0
從2005年休閑類游戲開始興起，到2016年下半年手游市場(chǎng)爆紅，游戲品質(zhì)和市場(chǎng)規(guī)模一直在快速攀升，更是出現(xiàn)了多款現(xiàn)象級(jí)火爆手游，如《王者榮耀》和《絕地求生》。加之AR/VR技術(shù)的出現(xiàn)，對(duì)移動(dòng)端的圖像處理需求也呈現(xiàn)井噴狀態(tài)。但另一方面，移動(dòng)終端GPU性能的提升速度較慢也愈加明顯。
今年6月，華為推出了軟硬件結(jié)合的圖像處理加速技術(shù)——GPU Turbo，通過協(xié)調(diào)硬件、系統(tǒng)和應(yīng)用三個(gè)層面，加速手機(jī)的圖像處理，為整個(gè)智能手機(jī)行業(yè)圖像處理加速帶來了全新的思考方向。
GPU Turbo技術(shù)打通了EMUI操作系統(tǒng)以及GPU和CPU之間的處理瓶頸，在系統(tǒng)底層對(duì)傳統(tǒng)的圖形處理框架進(jìn)行了重構(gòu)，實(shí)現(xiàn)了軟硬件協(xié)同，使得GPU圖形運(yùn)算整體效率得到大幅提升，畫質(zhì)、性能提升的同時(shí)，能耗下降，打破了性能與能耗的蹺蹺板。
隨著麒麟980的面世，華為全新的EMUI 9.0系統(tǒng)也正式亮相，其中將GPU Turbo技術(shù)升級(jí)為2.0版本。借助GPU Turbo 2.0全面提升的圖像處理效率和AI調(diào)頻調(diào)度的加持，Mate 20系列發(fā)揮了麒麟980處理器的性能特色，將游戲、視頻中的圖像延遲優(yōu)化降低36%，由95毫秒降到60毫秒)，從而保持持續(xù)穩(wěn)定的高達(dá)60幀率的游戲體驗(yàn)。
從實(shí)際體驗(yàn)來看，在麒麟980硬件和EMUI 9.0系統(tǒng)的加持下，GPU Turbo 2.0在荒野行動(dòng)中不卡頓，非常流暢。在類似《荒野行動(dòng)》這種手游中，整個(gè)過程中都保持了不錯(cuò)的游戲體驗(yàn)。
當(dāng)下以智能手機(jī)承載的手游、視頻等娛樂活動(dòng)成為了人們?nèi)粘蕵飞钪胁豢苫蛉钡囊徊糠?，人們?duì)游戲畫面、運(yùn)行速度的要求也越來越高。在GPU Turbo 2.0與麒麟980完美的配合下，華為智能手機(jī)也給用戶帶來了流暢到爽的游戲體驗(yàn)。
結(jié)語：新一代AI芯片帶來智能手機(jī)跨越式AI體驗(yàn)
進(jìn)入2018年，整個(gè)智能手機(jī)AI芯片產(chǎn)業(yè)鏈都被聯(lián)動(dòng)起來，除華為、蘋果兩個(gè)同步玩家競(jìng)相追逐外，三星、高通、聯(lián)發(fā)科等都在涌入激烈的市場(chǎng)競(jìng)爭(zhēng)中。
與此同時(shí)，智能手機(jī)AI芯片也正呈現(xiàn)出新的發(fā)展態(tài)勢(shì)，7nm制程工藝、多核處理單元、專用處理模塊等新的技術(shù)和生產(chǎn)模式，正在不斷筑高手機(jī)AI芯片產(chǎn)業(yè)的壁壘。
另一方面，隨著搭載新一代AI芯片的旗艦機(jī)的落地和發(fā)售，AI芯片給智能手機(jī)的AI體驗(yàn)也帶來了跨越式進(jìn)展。
從只能對(duì)圖像進(jìn)行處理到對(duì)視頻進(jìn)行實(shí)時(shí)處理，從場(chǎng)景識(shí)別拍照到個(gè)性化的景深控制，再到對(duì)3D結(jié)構(gòu)光人臉解鎖和食物卡路里識(shí)別，麒麟980芯片再飛速提升智能手機(jī)運(yùn)算力的過程中，也將更多以前無法想象的有趣、有用的功能帶給了用戶。
而在AI芯片提升智能手機(jī)體驗(yàn)的同時(shí)，智能手機(jī)行業(yè)的技術(shù)競(jìng)爭(zhēng)也正進(jìn)一步加劇。其中，如華為這樣擁有芯片等核心技術(shù)能力的廠商，正在引領(lǐng)著這場(chǎng)競(jìng)爭(zhēng)的技術(shù)風(fēng)向。
京公網(wǎng)安備 11010502049343號(hào)