但較難回答的問題則是:接下來會發生什么呢?哪些新興技術或趨勢的轉變有望成為數據中心業界的下一個大事件呢?而這些新興的技術及趨勢又將對硬件和軟件市場產生什么樣的影響呢?
目前,一種新興的趨勢已經開始在大型企業中獲得了較為廣泛的關注。這是一種被稱為“DataOps(數據操作運營)”的實踐方案。這一新的術語是由另一個更為出名的“DevOps”這一概念衍生而來的,“DevOps”這一概念在十年前就已經出現了,其目的是整合軟件的開發(“dev”)和操作運營(“ops”)。盡管DataOps與DevOps在某些方面的目標是一致的,但其更為顯著的體現了我們今天在數據中心業界所看到的一些主要變化。
DevOps概念的提出
讓我們先從DevOps開始展開我們的討論吧。早在2008年,當DevOps這一概念首次被提出的時候,其描述的是一項旨在最大限度地提高應用程序構建和部署過程中的自動化和可重復性的IT實踐。其宗旨是:如果軟件開發人員和操作運營專業人員可以緊密合作,那么,構建和部署應用程序將會更快,成本更低。實踐的目標包括提升靈活敏捷性,實現更快的產品上市時間和持續的應用程序交付。
諸如VMware、Docker、Puppet和Chef這樣的公司都已經趕上了DevOps的這一波浪潮。
DevOps泡沫的破滅
盡管經歷了軟件開發人員們早期的狂熱和興奮階段,DevOps目前已經停滯不前了。根據2017年的一項研究表明,DevOps尚未完全履行其最初承諾。在這項研究中,共計有2197名企業IT主管接受了調查,其中只有17%的受訪者將DevOps列為對其所在的企業組織有重大戰略影響——而這一比例遠遠低于大數據(41%)和公共云基礎設施即服務(39%)。其中一名受訪者解釋說:DevOps方法并沒有充分考慮到數據密集型的應用程序。
數據的興起
如果說現在已經有一種趨勢幾乎影響到所有行業的企業組織的話,那么毫無疑問,這一趨勢便是企業越來越重視通過對于數據的分析使用來推動業務價值的實現了。而根據IDC公司的一項研究預測,到2020年,全球范圍內的數據量將達到44澤字節,而1986年則只有3艾字節。無論是改善客戶體驗,提高運營效率還是創造新的收入來源,數據都能夠為跨各個行業的企業組織提升市場競爭優勢提供了杠桿支撐。
為什么如此數據重要
如果說數據的使用已成為當前企業所采用的顛覆性的商業模式的一部分,那么考慮如何管理和部署數據密集型應用程序則已成為企業組織IT實踐的核心。與DevOps方法所重點關注的輕量級應用程序不同,當企業組織開始討論數據密集型應用程序時,會出現一系列新的考慮事項。
數據管理實踐方案涉及到整個應用程序的生命周期。例如,數據科學和機器學習應用程序的發展需要使用大量的訓練數據。而操作運營團隊所部署的應用程序也有所不同;出于性能原因方面的考慮,數據密集型應用程序需要考慮數據的局部性,這意味著需要在持續產生數據的位置附近部署流程。此外,只要企業組織內部的各個不同的團隊需要使用數據,那么對于數據的訪問就必須受到嚴格的IT安全策略的控制和管理。
DataOps適用于數據驅動的應用程序
這些以數據為中心的新的理念激發了數據中心業界對于超越DevOps限制的實踐方面的需求。簡而言之,DataOps是開發和部署數據密集型應用程序的一種靈活敏捷的方法。這種做法很大程度上受到企業內機器學習和數據科學團隊發展的鼓勵,這需要涉及到企業內的軟件開發人員和架構師、安全與管理專業人員、數據科學家、數據工程師和運營人員之間的密切合作。DataOps是一個人員加流程的模式,旨在提高可重復性、生產力、靈活敏捷性和自助服務,同時實現持續的數據科學模型部署。
在我們與一些大型企業組織的合作過程中,我們發現一些大型企業雇傭了數千名的數據科學家,我注意到:這些企業在用來支持DataOps的基礎架構、平臺和工具類型方面發生了相應的變化。盡管用于支持DevOps實踐的一些工具(例如容器和虛擬化)仍然是DataOps的核心,但還有其他需要強制使用更新的技術,這可能暗示了未來十年的市場贏家。
首先,在工具層,DataOps實踐方案需要一款能夠支持相關語言和框架(如Python、R、data science notebooks和Github)的數據科學平臺。此外,一種強有力的方案應該有助于在流程的各個階段執行嚴格的數據訪問和管理政策。數據即服務(Data-as-a-service)或自助服務數據市場工具是相當關鍵的。
在平臺層,DataOps需要一款統一的數據架構,可以管理和提供大量數據的訪問,包括傳統的結構化數據以及更新的非結構化和流式數據集。借助一款全球數據架構,可以跨物理位置管理數據,并使用廣泛的計算引擎(包括集裝箱化流程)來處理數據。最后,選擇支持數據密集型應用程序的平臺必須針對數據局部性進行優化。
下一代的市場贏家
作為軟件行業的資深人士兼學生,我知道該行業唯一不變的就是不斷的變化。雖然沒有人擁有能夠預測未來的水晶球,但我認為可以肯定地說未來十年的數據中心將與過去十年的數據中心不同。 DataOps是一個值得關注的趨勢。隨著企業對于這些實踐方案的采用變得越來越普遍,我預測我們將看到技術市場的相應轉變。而市場的贏家將是那些能夠提供相應工具和平臺的公司,以便使得開發和部署數據密集型的應用程序變得更容易。