隨著數(shù)據(jù)在多個(gè)系統(tǒng)間更加離散存儲(chǔ),各企業(yè)機(jī)構(gòu)不得不應(yīng)對(duì)日益復(fù)雜的生態(tài)系統(tǒng)與數(shù)字化業(yè)務(wù)需求。全球領(lǐng)先的信息技術(shù)研究和顧問公司Gartner發(fā)布的數(shù)據(jù)管理技術(shù)成熟度曲線*(Hype Cycle for Data Management)將幫助首席信息官(CIO)、首席數(shù)據(jù)官(CDO)及其它數(shù)據(jù)與分析高級(jí)管理人員了解他們正在評(píng)估的數(shù)據(jù)管理技術(shù)的成熟度,以便在企業(yè)機(jī)構(gòu)的內(nèi)部構(gòu)建內(nèi)聚性數(shù)據(jù)管理生態(tài)系統(tǒng)。
Gartner副總裁兼杰出分析師Donald Feinberg表示:“在邁向數(shù)字化業(yè)務(wù)的過程中,數(shù)據(jù)管理仍會(huì)處在核心地位。隨著組織架構(gòu)的要求發(fā)生變化以及對(duì)相關(guān)技術(shù)的需求逐漸加大,技術(shù)成熟度曲線中所強(qiáng)調(diào)的多項(xiàng)技術(shù)的成熟度與功能將迅猛發(fā)展。近些年來,許多新技術(shù)不斷被納入技術(shù)成熟度曲線(參見圖一),其中包括:內(nèi)存(in-memory)、云計(jì)算(cloud)、數(shù)據(jù)虛擬化(data virtualization)、高級(jí)數(shù)據(jù)分析(advanced analytics)、數(shù)據(jù)即服務(wù)(data as a service)、機(jī)器學(xué)習(xí)(machine learning)、圖形(graph)、非關(guān)系型數(shù)據(jù)庫(kù)(non-relational)和Hadoop。”
圖一、2017年數(shù)據(jù)管理技術(shù)成熟度曲線
其中兩項(xiàng)技術(shù)特別引人關(guān)注,它們揭示了云計(jì)算(cloud computing)對(duì)于數(shù)據(jù)管理領(lǐng)域所帶來的影響力。由于整個(gè)Hadoop堆棧的復(fù)雜性與可用性導(dǎo)致許多企業(yè)重新考慮是否將其納入基礎(chǔ)架構(gòu)規(guī)劃中,因此,Hadoop被認(rèn)為在到達(dá)“生產(chǎn)成熟期”之前已經(jīng)過時(shí)。相反,各企業(yè)機(jī)構(gòu)正在著眼于日漸具有競(jìng)爭(zhēng)力且便捷、按需定價(jià)的云端選項(xiàng)以及量身定制的數(shù)據(jù)處理選項(xiàng)。
作為云主導(dǎo)趨勢(shì)的一部分,面向云的對(duì)象存儲(chǔ)SQL接口已處于“技術(shù)萌芽期”。Feinberg先生認(rèn)為:“我們預(yù)計(jì)這些接口代表著云數(shù)據(jù)庫(kù)平臺(tái)即服務(wù)(PaaS)的未來,并將在2至5年內(nèi)達(dá)到‘成熟期’,這是因?yàn)樗鼈兪窃擃I(lǐng)域內(nèi)大部分云提供商及產(chǎn)品的重心。此類接口可以讓各企業(yè)機(jī)構(gòu)運(yùn)用熟悉的SQL語(yǔ)法與云端存儲(chǔ)的數(shù)據(jù)進(jìn)行互動(dòng)。對(duì)象存儲(chǔ)非常適用于存儲(chǔ)大量多結(jié)構(gòu)數(shù)據(jù),而這正是數(shù)據(jù)湖(data lake)的典型特征。”
在“2017年數(shù)據(jù)管理技術(shù)成熟度曲線”所列的其它35項(xiàng)技術(shù)中,有4項(xiàng)被認(rèn)為具有變革性。2項(xiàng)技術(shù)——事件流處理(ESP)與內(nèi)存計(jì)算數(shù)據(jù)庫(kù)管理系統(tǒng)(IMDBMS)預(yù)計(jì)將在2至5年內(nèi)達(dá)到“生產(chǎn)成熟期”,而區(qū)塊鏈(blockchain)與分布式賬本(distributed ledgers)達(dá)到“生產(chǎn)成熟期”預(yù)計(jì)仍需要5至10年。
事件流處理(Event Stream Processing)
事件流處理是數(shù)字化業(yè)務(wù)、算法業(yè)務(wù)(algorithmic business)與智能商業(yè)運(yùn)作(intelligent business operation)的主要支持性技術(shù)之一。包括分布式流計(jì)算平臺(tái)(DSCP)與事件處理平臺(tái)(EPP)在內(nèi)的事件流處理技術(shù)正在快速成熟。通過提供可能被忽略的云信息,事件流處理軟件的流分析功能提高了決策質(zhì)量。
運(yùn)營(yíng)性內(nèi)存計(jì)算數(shù)據(jù)庫(kù)管理系統(tǒng)(Operational In-Memory DBMS)
雖然支持運(yùn)營(yíng)性內(nèi)存計(jì)算數(shù)據(jù)庫(kù)管理系統(tǒng)(IMDBMS)技術(shù)的基礎(chǔ)架構(gòu)仍然比較昂貴,但該項(xiàng)技術(shù)正在變得愈加成熟和普及。限制該技術(shù)增長(zhǎng)的另一個(gè)因素是如何滿足聯(lián)機(jī)交易SLA所需要的高可用性。盡管如此,通過將數(shù)據(jù)交易速度從100倍提升至1000倍,面向交易的運(yùn)營(yíng)性內(nèi)存計(jì)算數(shù)據(jù)庫(kù)管理系統(tǒng)仍有望對(duì)商業(yè)價(jià)值產(chǎn)生重大影響。
區(qū)塊鏈(Blockchain)
雖然各企業(yè)機(jī)構(gòu)因?yàn)榭蓴U(kuò)展性、風(fēng)險(xiǎn)及治理問題而對(duì)公共(低權(quán)限)分布式賬本概念的發(fā)展前景依然持謹(jǐn)慎態(tài)度,但包括區(qū)塊鏈在內(nèi)的公共分布式賬本將保持高熱度。大部分商業(yè)使用案例尚未得到驗(yàn)證,且比特幣仍處于極大的價(jià)格波動(dòng)中。有關(guān)分布式賬本的預(yù)想技術(shù)與商業(yè)挑戰(zhàn)將得到克服;短期內(nèi),各企業(yè)機(jī)構(gòu)極可能通過共享信息及基礎(chǔ)架構(gòu)而利用分布式賬本提高運(yùn)營(yíng)效率。長(zhǎng)期來看,Gartner預(yù)計(jì)隨著可編程經(jīng)濟(jì)的發(fā)展和賬本促進(jìn)新生態(tài)系統(tǒng)的貨幣化,整個(gè)行業(yè)與商業(yè)活動(dòng)將發(fā)生徹底變革。
分布式賬本(Distributed Ledgers)
雖然針對(duì)更多標(biāo)準(zhǔn)與企業(yè)級(jí)功能的需求正經(jīng)歷緩慢演化,但分布式賬本仍無法應(yīng)用于大規(guī)模的關(guān)鍵任務(wù)情景。相比現(xiàn)有成熟技術(shù),其應(yīng)用價(jià)值也尚不清晰,這對(duì)該技術(shù)的廣泛普及造成了一定影響。由于有望改變行業(yè)運(yùn)營(yíng)模式并克服困擾公共賬本的某些可擴(kuò)展性、風(fēng)險(xiǎn)管理及治理問題,私有分布式賬本概念正得到推動(dòng)。但是,與區(qū)塊鏈一樣,許多商業(yè)使用案例目前仍未得到驗(yàn)證。
*此技術(shù)成熟度曲線之前為“2016年信息基礎(chǔ)架構(gòu)技術(shù)成熟度曲線”(Hype Cycle for Information Infrastructure, 2016)。2017年數(shù)據(jù)管理技術(shù)成熟度曲線(Hype Cycle for Data Management, 2017)涵蓋多種可以描述、組織、整合、分享和支配數(shù)據(jù)的技術(shù)。