大數據時代下云存儲得到了飛速發展,其成熟過程始終貫穿著“應用的需求”與“技術發展的推動”這兩條主線。以硬核實力賦能企業已成為各廠商競爭的焦點,而在此過程中,存儲領域更成為決定下一代信息技術成敗的戰略性新興產業。本期《問底中國IT技術演變》,我們有幸采訪到阿里云研究員、存儲業務負責人吳結生博士,就云計算時代存儲技術的發展路徑,以及阿里云智能在存儲領域的產品矩陣、技術迭代以及未來趨勢等方面,解剖阿里云的存儲技術演進過程,籍此探析整個行業的發展趨勢。
存儲演進30年 新一代存儲需滿足五大變化
為了滿足企業針對不同業務的多樣需求,現代存儲行業歷經30多年的發展,迭代出多種存儲產品。例如為解決早期數據增長而出現的DAS和SAN,為解決核心應用高穩定性和高性能而出現的高端存儲,為處理非結構化數據而產生的NAS和對象存儲,為滿足彈性部署而衍生出來的軟件定義存儲……
為了更清晰地探究出云計算時代存儲技術的發展路徑以及所應對的挑戰,阿里云存儲業務負責人吳結生,根據阿里云在存儲領域的發展經驗,為我們梳理出存儲技術的發展與應用方向:
第一,存儲與計算的分離。隨著數據處理對存儲需求和計算需求在規模、速度、容量和成本等維度的不斷變化,計算與存儲分離可以最大限度地解耦這兩類不同的關鍵資源,使得各自相對獨立地擴展和演進。首先,通過解耦,計算與存儲這兩方面可以在云數據中心分別獨立擴展,提供調度和資源共享的靈活性,提高資源使用效率,降低成本。其次,計算和存儲的技術演進空間變大,可以更加靈活的針對不同的負載進行優化。再次,網絡技術的高速發展、個位數微秒的延時(latency)、百G級別的帶寬、服務器之間的邊界越來越模糊,使得計算和存儲分離、分布式存儲等架構在穩定性和性能等領域變得更加高效和有生命力。
第二,標準化、服務化與開放化的演進路徑。首先,提供諸如塊存儲和文件存儲等標準化的存儲方式,這些類型的存儲具備標準化的接口,使客戶能夠直接遷移數據,避免了應用的大量修改;其次,向服務化的方向發展。在傳統的存儲模式下,用戶需要大量的設備管理與維護升級,而在云計算時代,云存儲將其演化成一種云服務,用戶只需要關心自己的業務邏輯與創新即可;另外,更加開放。存儲云服務提供很多管理與控制的API,現在將其開放出來,使得用戶可以通過編程調用API,管理與監控存儲資源,以及實現跨平臺的管理。
第三,垂直領域和典型場景的深度集成設計。數據庫、大數據處理和分析、人工智能、容器等領域具有自身的特點,所以存儲技術針對以上典型場景也進行了相應的集成設計,結合場景的特點進行適配和優化,提高與場景結合的端到端優化能力和存儲的效率。
對于企業和用戶而言,使用云計算有著諸多好處,云提供了靈活的彈性伸縮、彈性存儲容量、安全可靠、高可用性和穩定的性能等能力。但是,云存儲在發展的過程中也面臨著諸多挑戰,為滿足云時代發展的需求,吳結生為我們總結了新一代存儲要不斷演進,跟上需求演進的變化,進一步通過技術牽引去創造更多的變化。
容量海量化,需要持續的成本優化技術來滿足數據的爆炸式增長需求;存儲速度化,讀寫速度和數據處理速度不斷加速;數據來源和數據形態越來越多樣化;數據是新石油,是數字化經濟的基礎;存儲需要加強數據清洗、數據安全、數據處理方面的能力,提供真實、可信和安全的數據,幫助企業或機構挖掘數據的價值,實現數字經濟中數據價值。針對這五個方向和不斷演進的需求變化,阿里云已在存儲領域完成全面布局,包括塊存儲和對象存儲在內的云上存儲家族,混合云存儲陣列、混合云備份和容災的混合云存儲服務,以及高性能分布式存儲和數據庫存儲等典型場景存儲方案。
阿里云十一年存儲進化史 重新定義下一代存儲
了解了云時代存儲的發展路徑過后,接下來不妨讓我們看看阿里云存儲的技術演進歷史,從而更直觀地了解云存儲在數字化轉型中的核心價值。作為阿里云飛天系統中極其重要的一環,阿里云存儲不僅滿足了“雙11”等大規模業務場景對存儲系統的超高要求,提供豐富完整的公共云和混合云存儲產品矩陣,還通過客戶數據中心和邊緣局點到云上的整體存儲解決方案,打破了數據存儲和流通的邊界,滿足了企業的多樣化需求,為企業數字化轉型提供了數據核心價值。
“越過山丘,才發現那里已無人等候......”,這是去年阿里云存儲新品發布會中的一句話。這句話低調地彰顯了阿里云的領導者地位,也恰好是阿里云存儲在成長道路上堅守與收獲的寫照。
2008年,為了探索阿里巴巴集團大規模存儲解決之道,阿里云存儲團隊應運而生。
2009年,阿里云分布式存儲引擎1.0(盤古PanGu)正式發布,為彈性計算虛擬機、阿里金融、郵箱、搜索提供通用存儲服務。
2013年,阿里云分布式存儲系統實現單集群5000臺服務器規模的部署,服務阿里巴巴電商業務和螞蟻支付寶業務。
2015年,成功實現了單集群10000臺服務器規模的部署,擁有云計算產業中最齊全的存儲產品線,成長與效率躍居榜首。同年還打破了Sort Benchmark世界記錄,100TB排序完成時間僅需377秒。
2016年,CloudSort項目中,阿里云以1.44$/TB的成績獲得Indy專用目的排序和Daytona通用目的排序兩個子項的世界冠軍,打破了AWS在2014年創造的紀錄4.51$/TB。
2018年,面向人工智能、科學計算、深度學習等未來存儲場景,阿里云分布式存儲引擎2.0正式發布,這不僅證明了阿里云存儲歷經十年的超強能力,更意味著阿里云存儲再次引領了云存儲與企業存儲、傳統存儲的破局之爭。
2019年,阿里云攜ESSD高性能云盤,領跑微秒存儲時代,正式吹響了進軍企業存儲市場的號角。
阿里云存儲在十一年的發展歷程中,不斷推出重磅新品與取得傲人成績,絕不僅僅是為了快速追趕業內標桿廠商。更重要的是,彰顯了阿里云為滿足全球用戶的業務需求,所沉淀的獨到見解和創新。隨著更多貼近用戶應用的數據管理功能的推出以及生態的構建,我們可以感知到阿里云存儲背后的思考。
在安全方面,對象存儲服務在國外成熟市場得到廣泛認可,很多企業的核心業務信息都存儲在上面。但是在中國,對象存儲的普及度還有待提升,數據安全的加強有助于改變這一現狀。對此,阿里云對象存儲也在更新重點,劍指數據安全。據了解,阿里云存儲全線產品都具備全面的“數據加密”能力,其中對象存儲OSS提供包括KMS密鑰、BYOK密鑰、OSS托管密鑰等5種加密方式,完成服務端數據加密和客戶端線下加密等多種靈活形式。
在性能方面,隨著全閃存的普及和高性能網絡的發展,數據中心進入“微秒時代”。起初,10萬IOPS已是非常高的性能;而十年后的今天,百萬、千萬IOPS已經成為多家廠商宣傳的主題詞。據介紹,作為全球首個百萬IOPS的企業級云盤,阿里云ESSD搭配ECS云服務器使用,可提供單盤高達100萬IOPS的隨機讀寫能力,單路寫時延 100 微秒。相比前一代的SSD云盤性能提升了40倍,讀寫時延降低了70% 。同時,ESSD云盤支持不停機擴展容量、不停機提高IO讀寫性能上限、數據加密等高級數據服務功能,具備企業級存儲的前沿技術創新能力。
在數據智能管理方面,打破數據孤島以形成有效的聯動成為當務之急。對此,阿里云提供了豐富的數據管理功能,通過數據分析系統挖掘數據價值。其中日志服務的AIOps分析功能面向趨勢預測、異常發現、智能聚類和根因分析四個場景,提升DevOps分析和診斷的效率,幫助運維人員提前配置資源,提前預測、發現和解決常見故障。
在降低成本方面。每年雙11創造奇跡的背后,是巨大的成本投入;另一方面,在數據時代,隨著各種大數據處理框架不斷涌現,成千上萬的數據分析需求背后是大量的計算任務,占用了大量的計算資源。此時,阿里云數據中心利用混部技術,將集群混合起來,將不同類型的任務調度到同一批物理資源上,通過調度、資源隔離等控制手段, 在保障SLA的基礎上,充分使用資源,極大降低了成本。
化挑戰為機遇,阿里云存儲營收過去三年增長超過10倍,存儲容量增長12倍,其中SSD容量增長超10倍。十余年的存儲進化,讓阿里云更新迭代了涵蓋公共云、混合云和邊緣計算在內的全球最完整存儲產品線,面向萬物智能時代,定義下一代存儲,更安全、更穩定、更優化、更智能,讓用戶無縫上云。
存儲新常態 看人工智能如何激活存儲技術變革
如今,人工智能的高速發展,徹底改變了人類的工作方式、生活方式和思維方式,也實現了生產力的整體躍升和社會治理的新變革。隨著計算力的不斷突破,人工智能的技術也在日趨成熟,越來越多的企業開始將人工智能技術融入行業應用中。而作為傳統行業的存儲,經歷了一輪又一輪技術市場洗牌,而今面對人工智能技術時,又將如何撬動市場的新需求呢?
對此,吳結生表示,在與人工智能的融合中,阿里云存儲正在做兩方面的實踐與探索:一方面是思考人工智能技術如何運用到存儲系統中;另一方面也在踐行存儲系統如何更好地服務和支持人工智能計算,從而更好地普惠人工智能技術。兩者相互融合,共同促進。
借助人工智能技術,在磁盤、服務與網絡等硬件故障的檢測中,可以更加準確地預測到故障的發生。在遇到網速變慢等異常狀況時,可以做到及時有效的規避,從而使得產品更加穩定,大大降低長尾延遲現象;在智能負載均衡與調度中,利用人工智能技術,能夠提前進行負載均衡,避免熱點與不均衡;在數據的置放策略中,可以根據對冷熱數據的分析判斷,以及客戶訪問的規則與模式,將不同類型的數據進行分類,安排不同的置放策略,從而提高總體系統效能,以便實現更加智能的分級存儲(Tiering)。
同時,阿里云針對機器學習與人工智能計算的場景,推出了高性能并行文件系統(CPFS:Cloud Parallel File System),已經廣泛應用于智能駕駛、生命科學和基因計算等場景。CPFS也被廣泛使用在高性能計算領域,與阿里云的彈性高性能計算(E-HPC)一起提供服務化和商業化的高性能計算,不僅如此,還承擔了“國之重器”之一的“天眼”工程(500米口徑球面射電望遠鏡 FAST 系統)的存儲解決方案,助力人類對宇宙的不懈探索。
另外,隨著圖片和視頻內容的不斷產生,急需對其進行智能的分析,阿里云的智能媒體管理系統(IMM)將先進的分析算法與存儲相結合,通過簡單便利的調用接口,使得中小客戶也可以享用到阿里云和達摩院的人工智能能力,普惠人工智能技術。這些智能服務能力也經歷了“雙11”場景的打磨,積累的最佳實踐轉化為產品的能力,復制到更多的客戶。
人工智能可以激活存儲的新變革,而借助存儲來服務人工智能計算,又能夠讓人工智能走上普惠的道路,這樣相輔相成的融合可謂絕妙。可預見的是,存儲技術將會與人工智能技術不斷融合,這也有利于存儲技術的更新換代,更好地支撐業務的快速發展,最終具備技術擴展業務邊界以及業務向技術拿紅利的能力。
另外,阿里云存儲將高性能存儲網絡作為分布式存儲的基石,聯合整個阿里云網絡和基礎設施團隊進行迭代式創新,從25G的網絡到現在的100G網絡,高性能存儲網絡已經取得了很大的進步,在穩定性和性能方面將會持續創新。最后,在數據中心級別的均衡規劃中,還需要更高級別和更大規模的設計。談及阿里云存儲未來的部署與計劃時,吳結生強調,為客戶創造更多的價值才能讓阿里云更有價值。
在快速迭代的技術面前,阿里云存儲以穩定、安全、可靠為立身之本,并利用智能技術的新元素賦能存儲,以普惠智能決策與智能計算。不難看出,阿里云存儲的創新活力,不僅拓展了云存儲的邊界,更在廣闊的企業級存儲市場中創造了更多的可能。