數據顯然不再是以往的樣子。作為數字化轉型的一部分，各種組織正在尋找數據的新用途。從飛機引擎的數據到雜貨店的消費數據，每個行業都有大量的例子，數據成為企業競爭優勢的關鍵所在。人們將這些數據稱之為新數據，這與人們最熟悉的財務和ERP數據截然不同。那些原有的數據大部分是交易性的，而且是從內部資源中捕獲的，而新數據推動了客戶機/服務器的革命。
新的數據既是交易型的，也是非結構化的，公開可用，以及私下收集的，其價值來源于對其進行匯總和分析的能力。粗略地說，人們可以將這些新數據分為兩類：大數據——用于批量分析的大量聚合數據集，快速數據——從許多來源收集的用于推動立即決策的數據。大數據和快速數據模式正在推動數據中心(公共和私有)的全新架構的發展。
以下介紹數據中心新架構所提出的五個主要的數據挑戰：
(1)數據捕獲正在推動數據中心架構從邊緣到核心的發展：從源頭獲取新的數據。這些數據來自海洋，來自石油和天然氣勘探，也可能來自于衛星軌道、天氣應用、電話、圖片、視頻和推特或電影的場景中。從源頭收集的數據量將比人們目前所知道的高出幾個數量級。
(2)數據規模正在推動數據中心的自動化發展：大型云提供商的規模已經十分龐大，他們必須在自動化和智能化方面投入大量資金來管理基礎設施。任何人工管理在其運營規模上成本高昂。
(3)移動數據正在改變全球網絡：如果數據無處不在，那么必須移動數據才能進行匯總和分析。當人們認為并且希望網絡在40到100 Gbps的速度可以滿足互聯網帶寬要求時，數據移動的需求卻可能會增加100倍到1000倍。
(4)數據價值是革命性存儲：毫無疑問，數據對組織來說越來越有價值，數據在較長時間內的實用性隨著機器學習和基于人工智能(AI)的分析而日益增長。這意味著更多的數據需要存儲更長的時間，并且數據必須是可以整體處理的，以便有效分析。
(5)數據分析是未來計算密集型體系結構的驅動因素：通過分析的性質，特別是機器學習，組織必須保留更多的數據，以便將其聚合到大數據存儲庫中。當應用于多個更大的數據源時，這些類型的分析提供了更好的答案。而分析和機器學習是一種計算密集型操作，因此大數據集上的分析驅動大量的高速處理。與此同時，分析的計算密集性促使組織推出從內存數據庫到100 PB級別的對象存儲多種新方式來存儲和訪問數據。
新的數據在源頭被采集。從源頭收集的數據量將比人們目前所熟悉的高出幾個數量級。例如，一輛自動駕駛汽車每天將產生高達4TB的數據。而全球的汽車數量數以億計，人們在未來必須應對這種新的數據沖擊。
很明顯，人們不能從源頭采集所有的數據，并嘗試通過當今的網絡將其傳輸到集中的位置進行處理和存儲。這推動了數據中心全新模式的發展，不同的環境以不同類型的數據為特征，這種新的“邊緣計算”環境被優化，以便在傳輸到一個獨立的核心數據中心環境之前，對大量數據進行捕獲、存儲，以及部分分析。
新的邊緣計算環境將推動計算基礎架構各個方面的根本性變革：從CPU到GPU甚至MPU(微處理單元)，從低功耗的小型閃存存儲到物聯網(IoT)網絡和協議，不需要寶貴的IP地址。
以下來看不同的數據采集例子。在生物信息學領域，數據在源頭上得到爆炸式增長。在X光檢查乳腺癌的情況下，拍攝這些圖像的系統正在從二維圖像轉變成三維圖像。二維圖像需要大約20MB的容量來存儲，而三維圖像則需要多達3GB的存儲容量，這意味著存儲這些圖像所需的容量增加了150倍。不幸的是，大多數存儲二維圖像的數字存儲系統根本無法經濟有效地存儲三維圖像。以往的存儲系統被大數據庫取代才能使數據蓬勃發展。
另外，組織希望對這些圖像執行的處理類型是基于機器學習的，并且比以前任何類型的圖像處理計算強大得多。最重要的是，為了進行機器學習，研究人員必須匯集大量的圖像進行處理才能有效。處理這些圖像意味著要跨組織來移動或共享圖像，這些圖像需要從源頭獲取數據，保存在可訪問的表單中(不是磁帶上)，聚合成大型圖像庫，然后用于大規模的機器學習分析。
圖像可能以原始形式存儲，但元數據通常在源頭添加。另外，可以在源頭完成一些處理以實現“信噪比”的最大化?？梢灾С诌@些圖像的最終架構的特點是：(1)在源頭存儲數據。(2)將數據復制到共享存儲庫(通常在公共云中)。(3)從共享的存儲庫處理資源以分析和處理數據。(4)采用網絡連接以便結果可以返回給研究人員。這個新的工作流程正在推動包含多個存儲位置的數據架構發展，并根據需要移動數據并在多個位置進行處理。
對于制造行業的物聯網用例，這種數據架構的變化更加劇烈。例如，在西部數據公司，人們從全球各地的機器收集數據。這些數據被發送到一個存儲在三個位置的中央大數據存儲庫，一部分數據被推送到亞馬遜的Apache Hadoop數據庫中進行快速數據分析處理。其結果可供全公司的工程師進行可視化和后處理。對源數據進行處理，以提高該數據的信噪比，并對數據進行歸一化。對數據執行額外的處理，因為它在邏輯上集中的位置收集在對象存儲庫中。
由于這些數據必須長期受到保護，因此需要進行擦除編碼，并分布在三個不同的地點。最后，數據一旦進入亞馬遜平臺，將再次使用分析處理。而支持制造用例的體系結構是一種邊緣到核心的體系結構，在許多位置都可以進行大數據和快速數據處理，而且這些組件是專門為此過程的每個步驟所需的處理類型而構建的。
由于集中式數據的概念不再適用，這些用例需要一種新的數據架構方法。人們需要有一個邏輯上集中的數據視圖，同時可以在任何工作流程的多個步驟中靈活地處理數據。數據量將會非常大，盲目地將全部的數據推送到一個中央存儲庫將會帶來成本和時間方面更多的限制。智能體系結構需要開發人員了解如何在考慮到數據規模、傳輸成本以及處理要求的權衡的情況下逐步處理數據。
在西部數據公司，已經開發了其內部的物聯網數據架構，以便擁有一個“干凈”數據的權威來源。數據在到達該權威來源之前被清理和規范化，一旦達到該數據源，就可以推送到多個來源進行適當的分析和可視化。其權威來源負責對數據進行長期保存，所以為了滿足數據的安全要求，它必須在自己內部部署的數據中心(實際上有三個托管的內部數據中心)。由于大部分清理工作都是在源頭進行，所以大部分的分析工作都是在云端進行的，以便擁有最大的靈活性。
底線是組織需要停止考慮將大型數據集集中存儲和訪問。數據需要存儲在適合其預期用途的環境中。人們稱之為“數據蓬勃發展的環境”。大數據集需要共享，不僅用于協同處理，還要匯總用于機器學習，還要在云端之間進行分離，以便進行計算和分析。以數據中心為中心的架構解決大數據存儲問題并不是一個好方法。為了從未來的大數據集獲得最大的價值，需要采用一種邊緣到核心的架構，并與混合云體系結構相結合。
版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號