對于人工智能/機器學習環境來說，創建使用內部部署或直接連接存儲(DAS)的計算服務器集群的情況并不少見。即使共享存儲在使用容量和將工作負載更均勻地分配給計算節點方面效率更高，很多組織仍然愿意犧牲這些效率來消除計算節點與共享存儲之間創建的網絡延遲。

 

NVMe光纖網絡(NVMe-oF)是專門為基于內存的存儲設備(如閃存和非易失性內存)設計的下一代網絡。它提供的延遲幾乎與DAS NVMe相同。NVMe的深度命令和隊列深度使其也非常適合高度并行化的工作負載，并且人工智能/機器學習可能是所有工作負載中最為并行的技術。NVMe-oF是專門為內存存儲而設計的，但它也是為人工智能/機器學習量身定制的。

 

 

如果NVMe-oF可以解決計算與存儲之間的延遲問題，那么它將啟用第二個要求，即共享存儲。通過NVMe-oF連接的共享存儲解決方案，工作負載可以受益于共享存儲的所有自然屬性。首先，所有節點都可以訪問所有數據，這意味著工作負載可以更均勻地分配其計算負載，這也意味著具有圖形處理單元(GPU)的節點可以訪問所有數據。由于GPU的價格比CPU貴得多，因此讓GPU處理更多的負載是當務之急，而共享存儲則使這一工作變得更加容易。

 

在衡量數十個甚至幾百PB的工作負載容量需求時，存儲效率的提高都可以節省大量成本。在具有用于每個計算節點的專用硬盤的集群中，IT團隊無法輕松地將可用存儲容量重新分配給集群中的其他節點。直接連接存儲(DAS)模型中缺乏資源池，這也意味著組織無法有效使用制造商推向市場的大容量硬盤。現在，具有雙重用途的節點(計算和存儲)可能會安裝12個或更多的16TB的閃存或18TB的硬盤，而單個節點可能無法有效使用。如果人工智能/機器學習存儲體系結構從專用服務器中集中使用這些硬盤，則可以對其進行更精細的分配。人工智能/機器學習工作負載不僅需要擴展以滿足容量需求，而且還必須可以直接訪問存儲節點以滿足性能需求。

 

 

鑒于人工智能/機器學習數據集的規模，分層存儲幾乎是必須的措施，因為配置數十PB的閃存設備太昂貴了。事實上，某些人工智能工作負載并不遵循80/20規則，在任何給定時間，80%的數據都是不活躍的。這些工作負載可以從100%休眠狀態變為100%活躍狀態。盡管如此，它們還是高度并行的，并且數百個性能較低的機械硬盤都可以同時滿足工作負載的需求，因此應該可以提供這些工作負載所需的性能。如果沒有，他們可以在當前網絡技術允許的范圍內盡快傳送數據。

 

 

并行訪問意味著存儲基礎設施中的每個節點為人工智能/機器學習集群中的每個計算節點提供對其所需數據的直接訪問。單個控制節點不會成為瓶頸。高級別的并行性對于人工智能/機器學習至關重要，因為可能需要同時訪問存儲池的計算節點數量眾多。正是這種并行性使吞吐量能夠使硬盤在人工智能/機器學習存儲基礎設施中成為一個組件。并行文件系統幾乎總是需要客戶端或代理，但是該代理除了提供并行訪問之外，還經常需要比典型NFS協議更少的開銷。

 

 

盡管需要并行訪問進行處理，但另一個要求是多協議訪問，這對于將數據提取到存儲基礎設施中特別有幫助。許多人工智能和機器學習項目都從物聯網(IoT)設備接收數據，這些設備通常需要與其附帶的協議進行通信。許多設備通過服務器消息塊(SMB)或網絡文件系統(NFS)進行通信，少數設備使用S3存儲桶。更重要的是，幾乎沒有人使用原生并行文件系統客戶端。

 

 

人工智能/機器學習的工作負載是元數據繁重的負載，盡管通常不是因為它們像媒體和娛樂的工作負載那樣使用豐富的元數據。元數據在人工智能/機器學習工作負載中的重要性來自其通用文件的數量。在大多數情況下，數十億至數百PB的人工智能工作負載由數十億個文件組成。這些文件中的每個文件都有元數據，就像其他工作負載一樣，大部分IO事務都來自元數據。人工智能/機器學習存儲基礎設施必須管理元數據，以便即使文件數量增加，它也可以維持系統的性能。元數據需要在整個存儲集群中進行分配，以便所有節點都可以參與其管理。供應商可能還會查看每個存儲節點中閃存上的存儲元數據，以確保系統始終能夠響應。

 

 

人工智能/機器學習工作負載與組織過去可能運行的其他工作負載有著根本的不同。早期的人工智能/機器學習項目已經依靠直接連接存儲(DAS)進行數據存儲。問題在于直接連接存儲(DAS)無法平均分配負載，這對于每個人工智能工作負載的GPU數量增加至關重要。而且，直接連接存儲(DAS)效率很低，復制和移動數據所花費的容量和時間上的浪費將會消除機械硬盤的價格優勢。

 

版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。