伴隨數字化轉型升級和新技術的普及應用,數據成為創新應用的基礎和驅動力,與此同時全球數據量每兩年以翻倍的速度增長,預計到2025年,企業數據會在現有的基礎上增長到3倍,87%的企業數據會存儲在公8有云上,海量數據的存儲成為信息產業的新挑戰。如何存儲龐大的數據,是企業和云廠商面臨的首要問題。
在近日舉辦的亞馬遜云科技存儲服務媒體溝通會上,亞馬遜云科技宣布加速云端存儲服務創新,通過智能分層、專門構建以及統一數據保護三大層面,幫助企業進一步應對海量數據上云面臨的諸多存儲挑戰,重塑云中數據活力。
數據爆漲帶來三大存儲挑戰
亞馬遜云科技大中華區產品部總經理陳曉建在主題演講中提到:“數據的爆發性增長,尤其是云上的數據增長已經是新常態,數據增長也會帶來諸多挑戰。”
一是敏捷與成本,如何應對海量數據增長所帶來的成本急速上升,與數據存儲服務敏捷性能之間根深蒂固的矛盾。
二是多樣化需求,如何設計不同的存儲服務滿足不同業務的需求。
三是數據保護,數據安全與合規問題也是企業考慮的重中之重。
為破解上述挑戰,重塑云中數據活力,亞馬遜云科技僅在2021年就發布了130多項存儲新服務和功能特性,如今,其存儲服務已經全面覆蓋了對象存儲、塊存儲、文件存儲、數據備份、數據容災、以及數據傳輸與邊緣處理各個方面,客戶可根據自身需求靈活選擇,在云端開展業務創新。
亞馬遜云科技大中華區產品部總經理 陳曉建
亞馬遜云科技存儲服務的持續創新
一、智能分層——成本與敏捷的自動平衡
為平衡敏捷與成本之間的矛盾,亞馬遜云科技就存儲服務的成本與敏捷性開展持續創新。以Amazon S3這一經典的對象存儲產品為例,從2006至2022年的16年間,整個存儲成本降低了7倍。
2021年12月,借助于更智能的存儲分層技術,亞馬遜云科技將全球九大可用區域的兩款主要產品Amazon S3標準非頻繁訪問層(Amazon S3 Standard-Infrequent Access)和Amazon S3單區非頻繁訪問層(Amazon S3 One Zone-Infrequent Access)的存儲價格降低了31%,可見降低用戶的存儲成本一直是其努力的重要方向。
根據數據被使用的不同頻率,可以簡單把數據分為熱、溫、冷、凍四個層次,而亞馬遜云科技已開發了8層存儲層級,用戶可以根據自己的數據類型、需要的讀寫性能、可接受的成本,選擇合適的存儲層級應對業務需求。
為滿足醫療影像數據這類實時性高、數據很大、訪問頻率低的數據存儲需求,亞馬遜云科技在幾個月前推出Amazon S3 Glacier Instant Retrieval即時檢索歸檔存儲,與普通歸檔存儲產品不同的是,采用這款產品用戶數的取回速度達到毫秒級,可以把冷數據當成熱數據來處理,讓音頻視頻、手機相冊、日志歸檔、影像資料等數據以低成本實現歸檔數據的快速檢索。
數據的冷熱并非是一成不變的,如果業務要上線新功能,數據冷熱發生較大變化,存儲邏輯勢必要大改。為了滿足這類需求,亞馬遜云科技于2018年推出Amazon S3智能分層功能,專門面向未知訪問模式的海量數據而設計。據悉,Amazon S3可以根據數據的實際訪問智能判斷合適的存儲層級,自動在不同層級的存儲之間移動數據,既降低了用戶運營的復雜性,又將運營成本大幅降低,至多可節省68%的成本。據悉,智能分層功能現已拓展到了共享文件存儲Amazon EFS。Amazon EFS提供四種存儲等級,可節省高達72%的存儲成本。
Nagarro(奈佳羅)是一家從事軟件服務和咨詢的公司。Nagarro中國區的首席架構師郭亮在會上提到:構建數據資產SaaS平臺面臨存儲成本、傳輸效率、容量預測、可靠性和災備、數據安全五大方面的挑戰,Nagarro通過使用Amazon S3智能分層功能,解決了構建數字資產SaaS平臺過程中的諸多挑戰,覆蓋了客戶所需存儲的全部類型,支持全球多區域部署確保了數據的持久性和可靠性;無需關心數據如何分層存儲,讓業務人員能夠更專注于應用,同時還節省了70%的存儲費用,實現成本和敏捷的自動平衡。目前,Nagarro的數字資產SaaS平臺已服務于5,000多家企業級用戶。
此外,結合Amazon S3,Nagarro還通過使用亞馬遜云科技AI服務,智能挖掘數據價值。Amazon S3的海量存儲為Nagarro未來打造數據湖倉奠定了基礎,郭亮透露:“我們數字資產產品未來的方向是CaaS(內容即服務),Nagarro會繼續加深和亞馬遜云科技的合作,進一步深度挖掘數據潛力。我們也希望亞馬遜云科技能推出更多更好的功能,為我們節省成本,提供更好的服務。”
二、專門構建——滿足多樣化的上云需求
如今,數據類型多種多樣,既有云原生應用產生的數據,也有傳統應用產生的數據,而這兩類應用所需要的云存儲服務也不盡相同。
針對云原生現代化應用,企業客戶可以使用云原生Serverless文件存儲Amazon EFS,獲得簡單、無管理成本、海量彈性擴展、高度集成、自動優化的體驗。
針對ERP等傳統的企業級應用,如果應用上云時需要按照云存儲產品的接口重新改寫代碼,沒有企業用戶愿意這樣做,保證兼容性對企業和云廠商而言都是非常重要的工作。為此,針對ERP/CRM、數據庫、自動駕駛、混合云等云端企業級應用,亞馬遜云科技提供了Amazon EBS IO2 BX和Amazon FSx系列服務,前者為運行在線下數據中心SAN存儲上的應用而設計,而后者是為各類企業應用而專門構建的共享文件存儲。
考慮到不同行業、各類不同的業務場景對共享存儲的不同要求,亞馬遜云科技將企業應用分為四個類別:一是以Windows為主的應用,底層服務要完全滿足Windows的環境,包括ACL文件訪問控制權限,以及Active Directory兼容等;二是高性能計算,對整個存儲的性能和吞吐率有著非常高的要求;三是各類企業應用,上云時必須完美的兼容和支持之前的功能;四是大數據環境,往往需要高吞吐、低延時等技術支持。
為滿足以上四類場景的不同需求,亞馬遜云科技專門構建了一個場景化應用FSx家族,目前可提供四種Amazon FSx產品:一是Amazon FSx for windows;二是為支持高性能計算特別設計的Amazon FSx for Lustre;三是全方位、全托管的云上存儲Amazon FSx for NetApp ONTAP,可支持各類企業應用;四是面向大數據分析Linux工作負載而設計的Amazon FSx for OpenZFS,提供高達1百萬IOPS ,而延遲僅有幾百微秒,非常適合運行機器學習、音視頻實時處理等數據密集型的工作負載。
陳曉建提到:全球領先的風電智能化服務商金風慧能采用亞馬遜云科技的HPC集群和Amazon FSx for Lustre高性能共享文件系統,在一周內完成氣象預測系統搭建,整個系統讓金風慧能的氣象數據計算時間縮短了1/3, 每年節約了70%的成本,并且大大簡化了運維過程。
ONTAP是聯想凌拓母公司之一NetApp的文件存儲系統,聯想凌拓產品管理與營銷高級總監林佑聲在會上提到:“聯想凌拓專注于智能數據管理領域,幫助客戶最大限度地挖掘數據價值。ONTAP及其數據管理功能在許多關鍵工作任務中發揮著不可或缺的作用。我們通過Amazon FSx for NetApp ONTAP,將NetApp廣受信賴的文件存儲和數據管理能力帶到了亞馬遜云科技上。由亞馬遜云科技支持、運行和銷售的全面托管服務,讓客戶能夠輕松地將ONTAP的強大功能部署于幾乎所有應用程序。”
全球領先的物流提供商嘉里物流采用Amazon FSx for NetApp ONTAP公有云方案, 通過系統自帶的SnapMirror功能,快速把線下數據中心NetApp ONTAP的數據遷移到亞馬遜云科技上,在云上,利用Amazon FSx for ONTAP Snapshots 做跨區域災備,實現關鍵數據的快速備份保護,并利用亞馬遜云科技實現存儲空間和備份空間的按需使用,隨時擴容;同時也免除了復雜的管理開銷,方便的實現了業務數據在各個國家不同部門之間的安全快速共享,提升了嘉里物流業務系統的安全性和可靠性。
三、統一數據保護——一站式數據備份服務
為了保障業務的連續性以及數據安全,企業對數據備份的重視程度越來越高,然而很多數據備份系統十分復雜,大多數企業都面臨著管理復雜、安全合規以及成本高昂三大挑戰。
為有效解決以上三大挑戰,亞馬遜云科技將Amazon Backup擴展至Amazon S3和VMware工作負載,讓客戶使用統一的數據保護策略,即可配置、管理和監督數據的備份與恢復。Amazon Backup 一站式備份服務現已支持15種以上的數據源備份,包括全部的存儲服務(塊、文件、對象),以及各類數據庫,計算和存儲網關。
為降低備份管理的復雜度,Amazon Backup一站式備份服務提供圖形化管理控制臺,幫助用戶簡化備份管理,降低了整體運維的成本,同時用戶還可以通過預設的備份策略進行自動化備份,從而大幅降低手動備份可能帶來的諸多問題。
在安全合規方面,Amazon Backup深度集成了亞馬遜云科技自帶的KMS數據加密服務,備份操作權限和數據訪問權限都可以通過IAM進行細顆粒度監控,可滿足個人信息安全規范、等保等安全合規要求。此外,利用Amazon Backup的集中數據備份,以及備份庫鎖定功能,可有效防止勒索病毒的攻擊,將生產數據備份到備份庫,設置備份庫鎖定功能,病毒或惡意操作都無法改變或者刪除備份庫中的數據。
據悉,澳大利亞領先的獨立石油和天然氣生產商Santos起初將數據放在塊存儲服務Amazon EBS上,通過Amazon Lambda腳本做手動備份,但是隨著業務的發展,數據量激增,手動備份的時間越來越長,整個備份的成功率只有80%左右。經過再三考量,Santos選擇Amazon Backup,通過自動設定備份策略在后臺由系統進行備份,極大減輕了IT人員的工作負擔,不僅備份時間減少了80%,相關運營成本也降低了50%,最重要的是,備份任務的成功率從 80% 提高到 100%,完全滿足了企業數據的合規需求。
助力全球各行業用戶開展業務創新
陳曉建提到:“亞馬遜云科技存儲服務已經成為IT行業的‘水’和‘電’,讓各行各業的業務都能從存儲服務中獲得價值。”據悉,亞馬遜云科技存儲服務覆蓋制造業、化工、媒體、社交網站、視頻、汽車、航空航天等行業,廣泛服務于全球各地、各個行業、各個規模的企業客戶,同時為國內嘉里物流、金風慧能、蘇泊爾、OPPO、首汽約車,中集集團、金蝶,桐樹基因、我愛我家等客戶提供廣泛存儲服務。