AI的快速發展依賴于數據和算力需求的指數級增長,與此同時,其對企業IT基礎架構市場產生了舉足輕重的影響。根據2021年Gartner的報道,到2025年,AI將成為基礎架構決策中最主要的因素之一,該市場的成熟將導致基礎架構需求呈現10倍的增長。

隨著AI應用的落地,企業的后端存儲面臨著三大挑戰。第一,AI的進步帶來了遠超摩爾定律的算力需求,導致后端存儲的性能跟不上前端計算集群的性能,因為多樣化的文件大小和混合負載對后端存儲的性能提出了更高的要求。第二,數據量急劇增長,其中超過80%為非結構化數據,對存儲的容量和擴展性要求激增。第三,IT預算不斷縮減,“降本增效”成為企業推進IT架構現代化與數字化轉型的關鍵考慮因素之一。

三大挑戰阻礙數據生產力

打破傳統基礎架構瓶頸,為AI數據處理“解壓”

面對挑戰,企業的存儲應當在性能、容量、擴展能力與易用性方面實現創新,同時應盡可能幫助企業節省數據全生命周期處理的成本,方能滿足前端業務發展的新需求。

然而,傳統架構已無法適應當前AI數據的處理。其處理過程涉及眾多環節,在不同的環節中,數據需要通過不同的接口接入到存儲系統中。傳統存儲架構容易存在各種缺陷,例如數據接口比較單一等,因此傳統存儲解決方案只能采取分散的存儲架構,容易形成多個數據孤島,致使數據需要在多個數據孤島之間來回拷貝再交給不同的存儲設備,以滿足不同的性能需求。

在傳統架構下,處理AI數據存在多臺設備并存、管理流程分散、手動性能調優等帶來的復雜性問題,同時也難以實現IT部門和業務部門的數據共享、影響數據的開發利用。為此,Hitachi Vantara推出專門面向AI應用的新一代高性能并行文件存儲HCSF (Hitachi Content Software for File),既能適配傳統高性能計算,也能滿足高性能數據分析和其他GPU加速場景對文件存儲的多維極致要求。

加速AI應用“遍地開花”,使能民眾共享數字化成果

在高性能計算及分析領域,HCSF具有廣泛的應用場景,與AI、機器學習、GPU加速應用環境密切相關,遍布于金融、生命科學、制造業、能源、媒體等各行各業,與人民日常生活息息相關。

以生命科學行業為例,某基因分析機構從分布式NAS存儲轉向HCSF之后,實現了十倍以上的性能提升,且容量和性能可線性增長,大大加速基因測序、基因分析流程,推動新藥早日上市。在制造行業,某新能源汽車企業在采用HCSF之后大幅節省時間成本,將單次駕駛訓練和仿真測試的時間周期縮至原來的1/20,比競爭對手更早地將產品推向市場,機會窗利潤所帶來的收益每半年就會翻倍。由此可見,HCSF在助力企業加快業務處理,縮短產品上市周期,加速數字創新成果落地方面成效顯著。

通過支持通用的硬件平臺實現軟件和硬件解耦,通過Hitachi Vantara與多家云服務商達成的合作以支持多云部署等,HCSF可以滿足企業混合云架構的需求和靈活性。此外,HCSF能夠提供多協議支持,允許企業通過單一存儲平臺滿足多種業務接入的需要,解決傳統架構的復雜性問題。

在成本方面,得益于HCSF的簡單架構和自動調優能力,企業無需聘請高級技術人員進行管理與維護,從而節省大量人工成本。同時,HCSF實現了云分層,可以把溫冷數據分層存儲到對象存儲或公有云上的S3存儲,進一步降低總體擁有成本。仍以上文提到的基因分析機構為例,采用HCSF后,每組基因的分析成本降低了75%,成本節約效果突出。

客戶價值

重塑業務模式,以先進理念與專利技術為“底氣”

面向AI,HCSF能夠突破傳統架構瓶頸,以超高性能、無限擴展、簡單易用三大優勢,在眾多行業掀起新一波智能化浪潮,離不開其背后與眾不同的設計理念和專利技術。最為客戶所青睞的超高性能來源于三方面的技術設計理念:

第一,HCSF數據平臺的架構基于高性能介質NVMe、高速網絡以及高速總線而設計,通過底層的驅動優化,減少數據傳輸的中間環節,從而大大縮短延遲。第二,無論是大文件還是小文件,無論是順序I/O還是隨機I/O負載,HCSF都能夠進行自動調優,提供無差別的高性能,包括高吞吐、高IOPS、低延遲和高效的元數據處理。第三,HCSF采用專利的全分布式擴展架構,將數據和所有元數據都分布在所有的節點上,避免出現性能瓶頸,極大地提高擴展性、聚合性能和彈性。

三合一數據平臺

結語

Hitachi Vantara的初心從未改變,即從數據出發、圍繞數據,幫助客戶改善運營效率,提升體驗,創新更多的商業模式,進而實現可持續增長。推出HCSF的初衷和邏輯與Hitachi Vantara的總體目標高度一致。在HPDA高性能數據分析的時代,我們希望,HCSF能夠幫助企業更高效、更智能、更經濟地釋放數據的全部價值,助力各行業共享數字經濟紅利,為加快構建新發展格局,推動高質量發展添磚加瓦。