有關如何存儲、架構和查詢數據的規則正在發生巨大的變化。隨著物聯網、人工智能推動了大數據的發展趨勢,預計到2021年,它將占數據中心中存儲數據的30%。關鍵是這些數據的大部分是非結構化的;Gartner預測大約80%的非結構化數據。傳統的數據庫是在因特網之前設計的,無法處理所創建數據的類型和數量。因此,SQL查詢和有關的數據庫系統都消失了。這些傳統系統是圍繞結構化數據的概念構建的,這些數據與有限領域中非常具體和狹義的應用程序相關聯。這些傳統系統中的數據量和數據使用范圍也是有限的,極大地降低了它們在非結構化大數據范例世界中的生存能力。所以,接下來需要什么呢?需要更好的儲存空間當前用于存儲數據的基礎設施效率極低。對云存儲(許多企業現在都這么做)之類的東西的依賴帶來了大量的問題:不僅擴展成本很高,而且在處理大量數據時,性能也受到了很大的阻礙。除了所施加的技術限制外,信任一個服務(特別是敏感信息)時也存在隱私風險,而且我們已經看到越來越多的數據破壞發生在集中式系統中。企業應該考慮使用其他存儲方法——他們比以前擁有了更多的數據(每天產生25億字節)。如果不能利用這些數據來獲得廣泛的受眾,從而增加收入,那么這些數據就會被浪費掉。為了在這個快速發展的世界中存儲數據,必須創建更有彈性和更高效的數據庫。他們必須高度安全,善于滿足物聯網和人工智能領域的應用需求。為此,我認為區塊鏈技術是一種理想的解決方案。用區塊鏈處理數據與Amazon或Google這樣的實體運行不同,區塊鏈的完整性是由網絡中同步數據庫副本的節點保證的。從安全的角度來看,這非常難以妥協,要求一方獲得對大多數節點的控制權,才能夠更改分類帳上的條目。由于節點是分布式的,并且是對等的,因此不存在形成瓶頸的可能性。然而,區塊鏈系統最重要的特性之一是不變性:一旦一個條目被添加到數據庫中,它就不能被刪除。對數據庫使用區塊鏈似乎是一個合理的進步。這無疑是一場尋求為跨行業的分散式建筑打下基礎的運動。使用區塊鏈,類似于AirBnB或Uber的市場可以實現存儲網絡上的數據,可以激勵用戶使用區塊鏈協議的內置支付層復制和保留信息。通過使用分片和群集,這個概念可以更進一步。分片提供了更大程度的隱私,這樣,您就可以將文件的片段分發給其他節點,而不是將文件分發給其他節點。通過這種方式,所有者可以確信那些擁有數據的人不能訪問數據,因為他們只能持有一小塊且不可讀。在數據的前后連續處理中,群集是一個根據地理位置將網絡劃分為節點群集的概念。這對于確保網絡能夠24小時處理高吞吐量至關重要。群集中的節點可以從最靠近它們的節點(減少延遲)獲取數據,或者從多個源并行下載分片,以實現難以置信的快速檢索。相同的分片被復制到多個節點上并存儲,因此,如果其中一個節點發生故障,數據仍然可以訪問(不同于集中式服務器,它們需要經常離線進行維護)。新的基礎設施人工智能需要大量的數據,以便于使網絡在一系列行業中表現的更好。大數據分析,顧名思義,是基于處理大數據集。
這里有一個共同的主題:一個基礎設施需要包含比我們習慣存儲的更多的信息。我們迄今使用的過時的前互聯網數據庫顯然跟不上時代的步伐。現在是使用區塊鏈來創建新方法的時候了:使用區塊鏈可以使你的系統更強大、更安全、更快速和可伸縮,從而真正推動創新。