當大家都在提智能的時候,華為云想到的卻是當前數據架構是否能支撐起萬物互聯的智能世界?比如支撐整個數據流動的底座,云計算是否需要進化?比如今天的云存儲是否能夠滿足智能時代海量數據的交互?
華為云給出的答案是:制約云計算為智能時代更好地服務的瓶頸就在“最后一公里”。在云端,“最后一公里”即指數據通過服務端軟件、網絡、存儲服務器,最終抵達介質的這一過程。
“最后一公里”的挑戰,也是指隨著人工智能(AI)、VR/AR、5G、自動駕駛等技術和應用的發展,云存儲面臨著海量數據存儲、數據實時性、以及智能應用等挑戰。
圍繞著“最后一公里”的挑戰,華為云日前在成都發布了云存儲All-Flash戰略,力在推動云存儲從毫秒走向微秒時代,同時還推出了該戰略的首個落地產品——全新一代極速IO云硬盤。
那么圍繞云計算“最后一公里”瓶頸,華為云存儲如何實現微秒實時處理?又如何通過AI來實現數據利用越來越快。至頂網采訪了華為云CTO張宇昕。
張宇昕表示,隨著人工智能(AI)、VR/AR、5G、自動駕駛等技術的發展,應用對云存儲的實時處理能力提出了更高標準。對于支撐智能世界的數據平臺而言,需要進入百微秒量級,才能滿足實時性要求。
進入微秒時代,華為云有哪些黑科技?
在數據中心里面,影響數據時延的原因主要來自兩個層面,一個是經過整個網絡傳輸時延,一個是存儲本身介質的時延。目前這兩個層面的時延都是毫秒級,這樣情況下的5G應用、自動駕駛、AI等應用很難做到實時處理,如果要進入微秒時代,必須把這兩段時延的瓶頸都打破。
張宇昕分享了華為云解決數據實時處理難題的黑科技。
張宇昕表示,首先,為了實現這“最后一公里”的百微秒級突破,平均時延達4毫秒的機械硬盤(7200轉)成為了第一個被優化的對象。相比機械硬盤,Flash介質具有更強的性能和20μs的極低時延。同時華為云圍繞介質上的能力,全新設計了先進的存儲引擎,既充分釋放介質的能力,降低時延和提升性能,又提高了存儲介質的可靠性和增強了使用壽命。
“第二,我們通過軟硬件架構和數據中心架構的優化,實現了極簡網絡,也實現了多核免鎖并發,使得軟件的時延和網絡的時延也降到了極低,所以整個數據處理IO從進來到出去,我們能實現50μs -100μs的穩定時延。” 張宇昕談到。
第三,華為公司有一個很強的優勢就是芯片,目前全系列自研芯片從“算、傳、存、智”四個維度來增強數據處理全流程。芯片與架構的緊密配合,充分發揮了鯤鵬CPU在多核、低功耗等方面的優勢;通過高性能智能網卡芯片、SSD存儲控制芯片實現了數據的直接訪問;結合昇騰AI芯片,讓全棧軟硬件聯動創新,并首次實現云存儲在芯片級的深度定制優化;實現通過網絡芯片和SSD 存儲卡控制芯片,把整個IO路徑重構,做到極低時延。
當然說了這么多,個人第一感覺還是算法的重要性,不管是控制器、軟件也好,芯片也好,里面很多核心技術其實都涉及算法,算法需要長期的積累,才能不斷地逼近能力極限。華為云的優勢就是把這些能力綜合起來,做到了數據的實時處理。
存儲越用越快?我們從當下的數據“越用越慢”談起
在發布會上,張宇昕談到華為云創新的技術讓存儲越用越快,引起了筆者的好奇心。大家知道不管是手機,還是電腦,用的時間越久,速度越慢。那么華為云是如何實現數據存儲越來越快的呢?
首先我們來看一下當前的數據存儲越用越慢的情況。隨著數據的增加,存儲介質碎片增多,包括企業的數據中心到云數據中心。隨著時間地推移,用戶訪問數據越來越慢。造成這種原因很大程度上就是由于數據在數據中心的布局以及數據存儲所提供IO能力跟企業業務要求不匹配。當數據量大,租戶越來越多,相互之間也可能資源有爭搶的,那這種情況就會加劇。
目前,華為云存儲將人工智能技術融入分布式存儲的全生命周期,智能識別用戶業務模型,實現存儲平臺的自主調優和自我進化,讓應用越用越快。華為云AI預測能力,可預判30天性能趨勢,提前14天發現故障盤并自動隔離。AI控制的引入,可智能預測用戶性能趨勢,并根據用戶提前配置的自動擴容等策略完成調整,免人工干預保障業務平穩。經過全局的數據進行優化,最大化地讓全局的資源得到充分利用。
所以從客戶的感受來講,隨著這種學習的深入,訓練數目的增加,訓練精度的提升,AI會越來越了解客戶,讓系統自動感知,而不是通過人工干預,可以做到快速系統調整來響應客戶的需求。
華為云明確了以“全閃存、全系列、+智能、全棧創新”為導向的All-Flash戰略布局,讓AI加持的云存儲逼近介質的極限,帶領全系列存儲逐步完成全閃存進化,帶領云存儲由機械時代邁入電子時代。而本次基于All-Flash戰略推出的極速IO云硬盤,其時延低至50~100μs,并具有4GB/s帶寬和高達100萬IOPS性能,可滿足結構化數據庫、半結構化數據庫和ELK分布式日志應用以及流處理等場景對性能的極致要求,也是主流云廠商中首家進入百微秒以內的云硬盤。
京公網安備 11010502049343號