社交、移動和云、分析以及相關(guān)的數(shù)據(jù)技術(shù)已經(jīng)在數(shù)字時代贏得一席之地。2016年我們看到大數(shù)據(jù)技術(shù)不斷給商業(yè)智能注入活力。2017年則是數(shù)據(jù)和分析的沉淀階段。
John Schroeder, MapR科技(MapR Technologies)的執(zhí)行主席和創(chuàng)始人預(yù)測了他對2017年數(shù)據(jù)及分析方面的六大趨勢
· 人工智能(AI)將再度盛行 早在60年代,Ray Solomonoff 奠定了人工智能的數(shù)學(xué)理論基礎(chǔ),引入通用貝葉斯原理(Bayesian)來歸納推理和預(yù)測。1980年,美國人工智能協(xié)會(American Association for Artificial Intelligence,AAAI)的第一次全國會議在斯坦福大學(xué)召開,其標(biāo)志著在軟件中理論應(yīng)用的開始。Schroeder認(rèn)為AI如今和一些熱詞如機(jī)器智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和認(rèn)知計算等一樣,已經(jīng)回歸到主流探討。為何AI重返潮流,他指出定義大數(shù)據(jù)常用的“三V”特性:速度(Velocity),多樣性(Variety)和海量(Volume)。他認(rèn)為各平臺可以將大數(shù)據(jù)的“三V”特性以現(xiàn)代和傳統(tǒng)的混合式處理模型來處理,這將比傳統(tǒng)平臺提高10-20倍的成本效率。谷歌記錄了簡單算法對大型數(shù)據(jù)集進(jìn)行高速運行比對小數(shù)據(jù)集應(yīng)用有更好的結(jié)果。Schroeder認(rèn)為我們將會目睹,對于高體量重復(fù)性任務(wù)來說,和人工知覺相比,應(yīng)用AI可獲取更有效的一致性,從而避免人為錯誤,產(chǎn)生最高價值。
· 大數(shù)據(jù)治理或競爭優(yōu)勢 Schroeder認(rèn)為2017年數(shù)據(jù)治理和數(shù)據(jù)價值之爭將點燃。企業(yè)擁有大量客戶以及合作伙伴信息。領(lǐng)先的企業(yè)將把他們的數(shù)據(jù)分類成“規(guī)范使用案例”和“非規(guī)范使用案例”兩個類別來應(yīng)用。規(guī)范使用案例數(shù)據(jù)需要治理;數(shù)據(jù)質(zhì)量和線性關(guān)系使其可以產(chǎn)生報表,并且跟蹤數(shù)據(jù)進(jìn)行各種轉(zhuǎn)化及追溯來源。Schroeder認(rèn)為這非常必要甚至可強(qiáng)制執(zhí)行,但可能對非規(guī)范使用案例作用有限,例如客戶360或者當(dāng)需要通過進(jìn)行高行選擇數(shù)處理、滿足實時需求和處理結(jié)構(gòu)化及非結(jié)構(gòu)化的混合數(shù)據(jù)來產(chǎn)生有效結(jié)果時,會受到限制。
· 公司將關(guān)注業(yè)務(wù)驅(qū)動型應(yīng)用,避免數(shù)據(jù)湖陷入困境 Schroeder表示在2017年,企業(yè)機(jī)構(gòu)將從“構(gòu)建未來”的數(shù)據(jù)湖應(yīng)用轉(zhuǎn)向業(yè)務(wù)驅(qū)動型數(shù)據(jù)應(yīng)用。當(dāng)今世界需要分析和操作能力去觸及客戶、處理索賠并且連接到個體的不同設(shè)備。舉例而言,任何商業(yè)網(wǎng)站需要提供實時的個性化推薦和價格查詢。醫(yī)療健康型企業(yè)必須處理有效的索賠并且運用分析運營系統(tǒng)來防止索賠欺詐。媒體公司需要通過機(jī)頂盒提供個性化的內(nèi)容。汽車制造商和汽車共享公司則要交互運營其車輛和司機(jī)。這些案例的實施交付均需要由一個敏捷平臺來實現(xiàn),同時提供分析和運營的處理,跨越后臺分析和前臺運營進(jìn)行整合,提升了商業(yè)價值。Schroeder認(rèn)為2017年企業(yè)機(jī)構(gòu)將大舉推動“提問題”型處理和架構(gòu)及更多實際應(yīng)用來驅(qū)動長期商業(yè)價值
· 數(shù)據(jù)敏捷性決定勝負(fù) Schroeder認(rèn)為自DevOps提供可連續(xù)性交付實施以來,軟件發(fā)展逐漸導(dǎo)向敏捷性。2017年,處理和分析模型將進(jìn)化到一個類似的敏捷度層面,因為企業(yè)認(rèn)識到競爭優(yōu)勢的來源并非簡單依靠大數(shù)據(jù)湖本身,而是數(shù)據(jù)敏捷性,以及其在不同場景對數(shù)據(jù)的理解能力和如何采取商業(yè)行動。敏捷處理模型的出現(xiàn)將使同樣的數(shù)據(jù)可以支持批量分析、互動分析、全球信息、數(shù)據(jù)庫和基于文件的模型。越來越多的敏捷分析模型也可以讓單一數(shù)據(jù)支持更廣泛的工具。最終結(jié)果就是產(chǎn)生可以支持最大范疇的處理和分析模型的敏捷發(fā)展和應(yīng)用平臺。
· 區(qū)塊鏈變革金融服務(wù)應(yīng)用 Schroeder認(rèn)為2017年數(shù)據(jù)存儲和交易處理的方式將令金融服務(wù)的選擇和轉(zhuǎn)換融合更廣泛地應(yīng)用。區(qū)塊鏈提供了一個全球分布式總賬,這將改變數(shù)據(jù)存儲和交易的處理方式。區(qū)塊鏈運行于全球分布的計算機(jī)上,并可以被任何人查看。每個數(shù)據(jù)區(qū)塊按照時間順序相連,在不同區(qū)塊儲存的交易以時間戳界定儲存數(shù)據(jù)而不可纂改。黑客也認(rèn)為區(qū)塊鏈理論上無法攻克。區(qū)塊鏈為消費者提供了顯而易見的效率。舉例來講,消費者不用等待SWIFT交易或者擔(dān)心中央數(shù)據(jù)中心泄露而產(chǎn)生影響。對企業(yè)來說,區(qū)塊鏈代表節(jié)約成本以及極具競爭優(yōu)勢。
· 機(jī)器學(xué)習(xí)最大化微服務(wù)影響 今年我們將看到機(jī)器學(xué)習(xí)和微服務(wù)的整合所帶來的活動增量。微服務(wù)部署將專注于輕量服務(wù),其結(jié)合受限于“快數(shù)據(jù)”集成的機(jī)器學(xué)習(xí),將應(yīng)用于窄頻流媒體數(shù)據(jù)。2017年我們將看到很多狀態(tài)應(yīng)用發(fā)展轉(zhuǎn)向以大數(shù)據(jù)結(jié)合機(jī)器學(xué)習(xí)的方式來處理大量歷史數(shù)據(jù),從而更佳理解新增流數(shù)據(jù)的場景。
Hadoop服務(wù)解決方案廠商Hortonworks預(yù)測
· 智能網(wǎng)絡(luò)引領(lǐng)數(shù)據(jù)云攀升 感謝萬物互聯(lián)或全聯(lián)網(wǎng)(Internet of Anything ,IoAT)的持續(xù)發(fā)展和機(jī)器端到機(jī)器端的連接性,數(shù)據(jù)孤島將被數(shù)據(jù)云所替代。
· 實時機(jī)器學(xué)習(xí)和分析蓄勢待發(fā) 智能設(shè)備將整合和分析一切?,F(xiàn)代分布式數(shù)據(jù)應(yīng)用中的實時機(jī)器學(xué)習(xí)算法將開始發(fā)揮所長-算法宣告了“端到端”實時決策的實現(xiàn)
· 更前瞻性的分析:從延時處理到實時分析到提前分析并采取行動 我們將看到一個從延時處理到實時分析到前瞻分析的演進(jìn)過程,其驅(qū)動著各類交易而不是僅僅修訂或者優(yōu)化它們。這將帶來變革性的影響,以數(shù)據(jù)為中心的商業(yè)能力將會迎來新的營收流、節(jié)約成本和改善與客戶的親密度。
· 無處不在的現(xiàn)代數(shù)據(jù)連接 對于那些以數(shù)據(jù)致勝的企業(yè)來說,應(yīng)用和數(shù)據(jù)需要連接到同一個平臺或者架構(gòu),這是2017年現(xiàn)代數(shù)據(jù)應(yīng)用的基石?,F(xiàn)代數(shù)據(jù)應(yīng)用非常便攜、集成性高以及互聯(lián)。他們將迅速取代那些垂直整合的獨立軟件。
· 數(shù)據(jù)將成為每個人的產(chǎn)出 數(shù)據(jù)將成為可以購買、銷售或者損失的價值產(chǎn)品。屆時將有很多新途徑、新商業(yè)模式和新公司將觀望如何價值化這些資產(chǎn)。
開發(fā)和支持開源Apache Cassandra非線性數(shù)據(jù)庫商業(yè)版的公司DataStax預(yù)測:
· 數(shù)據(jù)工程師的適時出現(xiàn) “數(shù)據(jù)科學(xué)家”這個術(shù)語將不再流行,而被“數(shù)據(jù)工程師”取代。數(shù)據(jù)科學(xué)家專注于數(shù)據(jù)科學(xué)的應(yīng)用以及對關(guān)鍵業(yè)務(wù)問題的分析結(jié)果。數(shù)據(jù)工程師則是設(shè)計、構(gòu)建以及管理大數(shù)據(jù)基礎(chǔ)架構(gòu),他們側(cè)重在架構(gòu)和保證系統(tǒng)執(zhí)行。
· 安全:物聯(lián)網(wǎng)發(fā)展導(dǎo)致模糊地帶 現(xiàn)今物聯(lián)網(wǎng)發(fā)展很大程度上有些失控。因為缺乏標(biāo)準(zhǔn)和數(shù)據(jù)的爆炸,誰來對安全負(fù)責(zé)并不是很明晰。最大的風(fēng)險來自于互聯(lián)網(wǎng)服務(wù)提供商(ISP),這也是為什么過去一年中主要是他們在安全領(lǐng)域進(jìn)行探討。
· 企業(yè)級云應(yīng)用導(dǎo)致混合云致勝 很多已有平臺上建立了數(shù)據(jù)庫的大型企業(yè)寧愿放棄也不愿交換其數(shù)據(jù)庫?;旌蠑?shù)據(jù)架構(gòu)可以涵括已有數(shù)據(jù)庫,同時允許企業(yè)同時利用云應(yīng)用,這將成為這些企業(yè)的主要關(guān)注點。
·去服務(wù)器架構(gòu)解除緊關(guān)連 DataStax認(rèn)為依靠第三方云應(yīng)用或者云服務(wù)來管理服務(wù)器端的邏輯和狀態(tài),或者說來運行在事件驅(qū)動的無狀態(tài)計算容器,這種去服務(wù)器架構(gòu)將變得更為廣泛。對去服務(wù)器架構(gòu)的采納將對應(yīng)用如何部署以及管理產(chǎn)生更為廣泛的影響。