因為經過更好訓練的模型可以產生更快、更精確的人工智能系統,所以人工智能面臨的最大挑戰是正確訓練其機器學習模型。
訓練有素的機器學習模型必須穩定地攝取大量數據,這樣才能適應和改進。隨著訓練數據集的增長,學習算法的性能會越來越好、變得越來越準確。總而言之,數據越多,結果越好。顯然,獲得海量數據需要大量存儲空間,但是在這種情況下,并不是所有存儲解決方案都是一樣的。當組織評估如何更好地采用人工智能/機器學習應用程序時,必須在這一過程中不要忽略存儲基礎設施。
組織能否成功地從模型訓練所需的龐大且不斷增長的數據集中篩選出可行的見解,并從中收集可行的見解,這取決于其存儲架構能否滿足數據管道各個階段的極端苛刻要求。
對象存儲是支持有效機器學習模型必不可少的7個原因
坦率地說,對象存儲是唯一可以幫助解決人工智能/機器學習的模型訓練難題合適的解決方案,以下是為什么對象存儲是最合適的原因:
•無限的可擴展性
大量的數據需要大量的存儲,而人工智能/機器學習工作負載需要一種可以隨數據增長而無限擴展的解決方案。傳統文件和塊存儲解決方案將在數百TB后達到可擴展性的上限。對象存儲是唯一可以在單個全局命名空間中無限擴展到數十PB甚至更多的存儲類型。通過隨時隨地無中斷地部署新節點,根據需求能夠進行彈性無縫擴展是一個巨大的優勢。
•內置的數據保護
定期備份數PB的訓練數據集不僅耗費時間,而且并不現實。根據設計,大多數對象存儲系統都不需要備份。與其相反,它們存儲的數據具有足夠的冗余,因此始終受到保護。由于對象存儲解決方案通常被設計為分布式架構(并行運行的分布式服務器的集合,不需要使用特殊機器來提供或管理特定服務),因此所有職責都是分開的,不需要采用中央“控制”的機器。因此,其架構中的單點故障(SPOF)的風險為零。分布式對象存儲系統具有自我修復功能,可以提供極高的數據持久性。系統可以配置為容忍多個節點甚至分布式數據中心發生的故障。
•固有的元數據搜索和分類
在構建和訓練有效的機器學習模型所需的數據準備階段中,必須有詳細的描述性元數據,這使得輕松標記、搜索、定位和分析數據成為可能。存儲架構會影響收集元數據的能力。文件和塊系統不支持應用程序或用戶定義的擴展屬性,但對象存儲系統提供了獨特的方法,可以使用極其豐富、可自定義的元數據來標識數據。其不受限制的性質使標簽易于標記、具有強大而快速的可搜索性,以及有效管理大型數據集。
•多租戶功能
通過多租戶隔離工作負載,使多個數據科學家團隊可以同時使用同一數據源,而不會互相影響或爭奪資源。為服務多租戶用例而設計的對象存儲系統使得從一個可擴展的、與AWS S3兼容的接口中安全地管理租戶數據變得更加簡單。
•持續的吞吐量性能可縮短訓練時間
以最佳速率維持數據管道的能力對于訓練機器學習模型至關重要。要快速獲得結果,就需要提高基礎設施的效率,否則在龐大的數據集上運行的計算將被減慢或中斷。現代的對象存儲系統可保持高數據吞吐量,此外,還可進行橫向擴展以獨立和線性地提高整體系統容量和性能。這可以通過以存儲服務器的形式添加系統資源來實現,這些資源可以提供要由存儲軟件作為單個存儲池進行管理的計算(CPU和內存)和容量(閃存和HDD硬盤)。
•人工智能/機器學習算法在云中運行:無論數據位于何處,與公共云的集成都非常重要,尤其是當公共云平臺為人工智能/機器學習提供了一些現成的且有吸引力的工具集時。在架構上,對象存儲更適合訓練和調整機器學習模型,因為對象存儲憑借其事實上的語言——AWS S3 API,可以在內部部署/私有云環境與公共云存儲之間進行無縫訪問和移動。最好的對象存儲解決方案使用戶能夠在一個統一的命名空間中管理基于云計算的數據和內部部署數據,消除了數據孤島,并允許資源在不損失任何功能的情況下進行協作和交換。
•較低的總體擁有成本(TCO)
專為人工智能/機器學習工作負載設計的存儲基礎設施不僅必須提供容量和性能,而且還必須提供存儲、移動和管理最佳模型訓練所需的數PB數據的成本效益。通過利用標準服務器技術以及在單個系統中進行大規模操作的能力,對象存儲可以成批地交付,而成本只有傳統專有企業存儲成本的一小部分。軟件定義的解決方案可以托管在成本較低的標準x86服務器上,并且可以跨多代硬件發展以降低成本。
尋求實現其人工智能應用程序全部價值的組織必須了解正確訓練和微調其機器學習模型的關鍵性質和潛在挑戰。明智的組織會在選擇正確的存儲基礎設施方面像在計算需求方面一樣謹慎。而對象存儲解決方案為最終提取快速準確的分析洞察力、挽救生命和其他方面提供了最佳的基礎。
版權聲明:本文為企業網D1Net編譯,轉載需注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。