從2013開始制作大數(shù)據(jù)版圖的Matt Turck剛剛發(fā)布了最新的2017年大數(shù)據(jù)版圖，我們一起來看看在這個領(lǐng)域有哪些最新趨勢和玩家的分布情況。

說到最近幾年最熱門的技術(shù)流行語，少不了云計算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等熱詞。不過，盡管人人(至少是企業(yè)界)言必稱大數(shù)據(jù)，但是其在企業(yè)的采用周期要遠遠滯后于炒作周期。所以大數(shù)據(jù)從新奇酷的技術(shù)變成核心系統(tǒng)，從炒作到產(chǎn)品部署往往需要幾年的時間。

從去年開始，大家越來越感覺到這項技術(shù)已經(jīng)在某種程度上陷入了停滯。不過好消息是，2017年大數(shù)據(jù)開始進入部署階段，大數(shù)據(jù)的炒作逐漸散去，但它的應(yīng)用卻正在蓬勃發(fā)展，代表成熟度的標志性IPO也正在出現(xiàn)。而大數(shù)據(jù)在幾年前經(jīng)歷的泡沫正在無可爭議地轉(zhuǎn)移到人工智能身上，過去幾個月AI所經(jīng)歷的共同意識“大爆炸”與大數(shù)據(jù)當年相比甚至有過之而無不及。

從2013開始制作大數(shù)據(jù)版圖的Matt Turck剛剛發(fā)布了最新的2017年大數(shù)據(jù)版圖，我們一起來看看在這個領(lǐng)域有哪些最新趨勢和玩家的分布情況。

高層趨勢

大數(shù)據(jù)+AI=新棧

2016年無疑是機器學習之年，任何目睹過眾多pitch的VC都應(yīng)該能感受到這一點，那就是每一家初創(chuàng)企業(yè)都成為了“機器學習公司”，“.ai”變成了必備域名，而“等等，可是我們是用機器學習做到這個的”也成為了pitch deck的必備幻燈片。機器學習正在迅速成為許多應(yīng)用的關(guān)鍵建構(gòu)塊。

相應(yīng)地，一個新興的技術(shù)棧正在出現(xiàn)，在這個技術(shù)棧里面，大數(shù)據(jù)被用于處理核心的數(shù)據(jù)工程挑戰(zhàn)，而機器學習則用于以分析洞察或者行動的形式從數(shù)據(jù)中析取出價值。

換言之，大數(shù)據(jù)提供管道，AI提供智能。當然，這種共生關(guān)系已經(jīng)出現(xiàn)多年，只是能實現(xiàn)這個的目前還不多而已。

但是，現(xiàn)在這些技術(shù)開始大眾化的普及。“大數(shù)據(jù)+AI”正在成為眾多現(xiàn)代應(yīng)用(不管是消費者型還是企業(yè)型)的默認技術(shù)棧。無論是初創(chuàng)企業(yè)還是一些財富1000強公司都在利用這一新的技術(shù)棧。而且在云巨頭的努力下，這個技術(shù)棧往往還有云計算這個更基礎(chǔ)的建構(gòu)塊的加入，以機器學習云的形式出現(xiàn)。

但是AI的大眾化是否就意味著這種技術(shù)在短期內(nèi)能實現(xiàn)商品化呢?現(xiàn)實是AI在技術(shù)上仍然非常困難。盡管許多工程師都在爭先培養(yǎng)AI技能，但全球這方面的領(lǐng)域?qū)＜胰匀皇窒∪薄?/p>

不過這股大眾化的趨勢已經(jīng)不可逆轉(zhuǎn)，而機器學習早晚都要從競爭優(yōu)勢演變成桌面籌碼。

這對初創(chuàng)企業(yè)和大公司都會產(chǎn)生影響。對于初創(chuàng)企業(yè)來說，除非你把AI軟件做成自己的最終產(chǎn)品，否則的話自我標榜為“機器學習公司”將變得毫無意義。對于大公司來說，如果現(xiàn)在你不積極推進大數(shù)據(jù)+AI的戰(zhàn)略，就會有變得過時的風險。AI已經(jīng)是下一個風口了。

企業(yè)預算：一切向錢看

從2016年的情況來看，財富1000強公司已經(jīng)在紛紛增加預算用于升級核心基礎(chǔ)設(shè)施以及分析，其關(guān)鍵的關(guān)注點正是大數(shù)據(jù)技術(shù)。分析機構(gòu)IDC預計大數(shù)據(jù)和分析市場將從2016年的1300億美元增長到2020年的超過2030億美元。

而且財富1000強公司里面的許多買家在大數(shù)據(jù)技術(shù)方面正在變得越來越嫻熟、越來越目光敏銳。這些公司過去幾年做了很多功課，正在進入全面部署階段。這種情況不僅發(fā)生在技術(shù)導向型的公司，在很多行業(yè)都是如此。

在大公司每隔幾年就要發(fā)生的舊技術(shù)替代自然周期的推動下，這種情況得到進一步加速。大數(shù)據(jù)遭遇的環(huán)境也從逆風變成了順風。當然，很多大公司仍然處在大數(shù)據(jù)部署的早期階段，但是情況似乎在快速演變。

企業(yè)數(shù)據(jù)向云端遷移

直到幾年前，把企業(yè)數(shù)據(jù)遷移到公有云上面對于大公司CIO來說還是不可想象的事情，頂多是在開發(fā)環(huán)境下或者拿非關(guān)鍵的、面向外部的應(yīng)用來嘗試一下。但現(xiàn)在畫風開始有所變化，大家對此的態(tài)度似乎變得更加開放了，比方說你會聽到這樣的說法“不管怎么說我們的客戶數(shù)據(jù)已經(jīng)放到Salesforce云上面了”，或者“在網(wǎng)絡(luò)安全方面我們永遠也不會有像AWS那么多的預算”。但目前里大多數(shù)企業(yè)都向公有云遷移還遠得很，這部分是因為遺留系統(tǒng)和管制方面的原因。不過云供應(yīng)商正在竭盡全力來加速這一趨勢的轉(zhuǎn)變。比如說AWS甚至可以開卡車來運你的硬盤到云端。

2017年大數(shù)據(jù)版圖

作為對比我們先看看2016年版本：

2017年版本：

整合要來了嗎?

從上圖可看出，這張圖已經(jīng)變得越來越擁擠，那么一個顯然的問題來了：行業(yè)是否瀕臨大規(guī)模整合的邊緣了呢?

似乎還沒有。至少目前如此。

首先VC仍然繼續(xù)樂于給新老公司提供資金扶持。2017年的第一季度成長階段的大數(shù)據(jù)初創(chuàng)企業(yè)拿到了不少的可觀融資，其中包括：Looker(8100萬美元D輪)，InsideSales (5000萬美元F輪)，DataRobot (5400萬美元C輪)，Confluent (5000萬美元C輪)，Collibra (5000萬美元C輪)，Uptake (4000萬美元C輪)，WorkFusion (35M00萬美元D輪) and MapD (3500萬美元B輪)等。去年12月DataBricks也拿到了6000萬美元的C輪。

2016年，大數(shù)據(jù)初創(chuàng)企業(yè)的總?cè)谫Y達到了148億美元，占到了全球技術(shù)風險投資的10%。

其次，自去年的大數(shù)據(jù)版圖推出以來，本領(lǐng)域的并購活動一直在穩(wěn)步推進，但不是特別顯著，其中部分原因也許是未上市公司的估值仍然高企。入選2016大數(shù)據(jù)版圖的公司當中共有41家被收購(完整清單參見附注)，這個節(jié)奏跟上一年是一致的。

另一方面，2017年剛開始就發(fā)生了一些大型的并購事件，其中包括Mobileye(被英特爾以153億美元收購)，AppDynamics(被思科以37億美元收購)，以及Nimble Storage(被HPE以12億美元收購)。

去年還有一個顯著的現(xiàn)象，那就是大型技術(shù)公司紛紛收購AI初創(chuàng)企業(yè)，尤其是那些解決水平問題、有著很好團隊的AI初創(chuàng)企業(yè)。其中包括Turi(蘋果)、Magic Pony(Twitter)、Viv Labs(三星)、MetaMind(Salesforce)、Geometric Intelligence(Uber)、API.ai(Google)以及Wise.io(GE)。當然，這種現(xiàn)象未必能持續(xù)太久，因為對AI的需求太旺盛了，人才實在是不夠用了。

第三，一些較大的大數(shù)據(jù)初創(chuàng)企業(yè)羽翼漸豐，正在成為獨立的上市公司。Snap無疑引領(lǐng)了技術(shù)公司IPO的復興，但是目前為止是大數(shù)據(jù)公司借了這股東風。

2016年只有Talend一家大數(shù)據(jù)公司上市，但2017年大數(shù)據(jù)公司已經(jīng)呈現(xiàn)出爆發(fā)之勢。其中Mulesoft和Alteryx已經(jīng)上市并且表現(xiàn)不錯，而Cloudera也即將上市，其最新估值(41億美元)與收入(2.61億美元)之間的差異將延至“獨角獸”估值現(xiàn)象的成色。另外，MapR以及定位智能公司Yext也已經(jīng)在排隊等待了。

下一個會是誰呢?也許是Palantir這個超級獨角獸。這家多年以來保持神秘的公司已經(jīng)公開表達了上市的興趣。其最新估值達到了200億美元，如果上市的話必將引起轟動。

云大戰(zhàn)

雖然大規(guī)模并購尚未出現(xiàn)，但業(yè)界的另一股趨勢值得注意，這就是“功能性整合”，這種現(xiàn)象在云端尤其顯著。一些關(guān)鍵的玩家正在通過自研產(chǎn)品和開源計算引擎的實現(xiàn)逐步構(gòu)建“大數(shù)據(jù)+AI”的基礎(chǔ)構(gòu)件，面向眾多客戶群提供其所期盼的“一站式”的服務(wù)。

AWS在產(chǎn)品發(fā)布的速度和幅度方面繼續(xù)給人留下深刻印象。目前AWS幾乎提供了大數(shù)據(jù)和AI方面的所有服務(wù)，包括分析框架、實時分析、數(shù)據(jù)庫(NoSQL、圖譜等)、商業(yè)智能以及日益豐富的AI能力，尤其是深度學習方面的能力。按照這種速度發(fā)展下去，AWS產(chǎn)品幾乎就要把大數(shù)據(jù)版圖的所有的基礎(chǔ)設(shè)施和分析細分領(lǐng)域都占據(jù)了。

加入云大戰(zhàn)稍晚的Google一直在積極開發(fā)廣泛的大數(shù)據(jù)產(chǎn)品(BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等)，并且把AI視為跨越式發(fā)展的殺手锏。在AI方面Google去年做了很多事情，包括推出了新的翻譯引擎，聘請了李飛飛和李佳領(lǐng)導新成立的Cloud AI and Machine Learning部門，推出了視頻識別的機器學習API，并且收購了數(shù)據(jù)科學家社區(qū)Kaggle。

其他大型的IT供應(yīng)商，比如微軟、IBM、SAP、Oracle以及Salesforce等也在努力推出大數(shù)據(jù)產(chǎn)品(包括云端和本地)。除了技術(shù)自研和進行收購以外，這些玩家還越來越重視通過合作來打造生態(tài)鏈，其合作的重點是手上有數(shù)據(jù)的公司以及有“頭腦(AI)”的公司。IBM與Salesforce的合作以及SAP與Google的合作就是值得注意的案例。

用企業(yè)IT的行業(yè)標準來看，云供應(yīng)商還比較小，但是其不斷膨脹的野心(其中包括從企業(yè)棧底層的IaaS向應(yīng)用發(fā)展的企圖)與企業(yè)數(shù)據(jù)逐漸向云端遷移的趨勢結(jié)合，將打開龐大的企業(yè)技術(shù)市場大門，與傳統(tǒng)IT供應(yīng)商展開激戰(zhàn)，而大數(shù)據(jù)和AI將是核心戰(zhàn)場。

2017數(shù)據(jù)生態(tài)體系概覽

基礎(chǔ)設(shè)施

去年的許多趨勢今年仍將延續(xù)，比如流處理技術(shù)，這方面Spark目前是主宰，不過像Flink這樣的有趣競爭者正在出現(xiàn)。此外，還有以下一些趨勢：

SQL正式回歸

在給NoSQL當了10年副手之后，曾經(jīng)的霸主SQL數(shù)據(jù)庫正式吹響了回歸的號角。Google最近發(fā)布了Spanner數(shù)據(jù)庫的云端版。Spanner和CockroachDB(Spanner的開源版)都提供了可行的、強一致性的、可伸縮的SQL數(shù)據(jù)庫。Amaozn推出了Athena，跟Snowflake等產(chǎn)品類似，這是一款SQL數(shù)據(jù)引擎，可直接查詢S3下的數(shù)據(jù)。Google BigQuery、SparkSQL以及Presto等在企業(yè)逐漸獲得采用——這些都是SQL產(chǎn)品。

數(shù)據(jù)可視化

與公有云采用相關(guān)的一個有趣的趨勢是數(shù)據(jù)可視化。舊的ETL處理需要轉(zhuǎn)移大量的數(shù)據(jù)(而且往往要建立冗余數(shù)據(jù)集)并且建立數(shù)據(jù)倉庫，而數(shù)據(jù)可視化可以在數(shù)據(jù)保持不動的情況對其進行分析，提高了速度和敏捷性。許多下一代的分析供應(yīng)商現(xiàn)在都可以同時提供數(shù)據(jù)可視化和數(shù)據(jù)準備服務(wù)，并讓客戶可訪問存儲在云端的數(shù)據(jù)。

數(shù)據(jù)治理與安全

隨著大數(shù)據(jù)在企業(yè)側(cè)走向成熟，以及數(shù)據(jù)的多樣性和體量的不斷發(fā)展，像數(shù)據(jù)治理這樣的主題也變得日益重要。許多公司已經(jīng)選擇了“數(shù)據(jù)湖”作為把所有數(shù)據(jù)收集起來的手段。但除非你知道里面有什么東西，并且能夠訪問到合適的數(shù)據(jù)進行分析，否則的話數(shù)據(jù)湖再大也沒有意義。但是想讓用戶方便地找到想要的東西同時管理好權(quán)限并不容易。除了數(shù)據(jù)湖以外，治理的另一個集中的主題是以安全的、可審計的方式為任何人提供對可靠數(shù)據(jù)的便捷訪問。Informatica、 Collibra、Alation等大小供應(yīng)商提供了數(shù)據(jù)目錄、參考數(shù)據(jù)管理、數(shù)據(jù)字典以及數(shù)據(jù)幫助臺等服務(wù)。

分析

數(shù)據(jù)科學家會不會瀕臨滅絕?

僅僅幾年前數(shù)據(jù)科學家還被譽為是“二十一世紀最性感的職業(yè)”。而且“數(shù)據(jù)科學家”在Glassdoor的“美國最佳職位”排行榜中仍然高居榜首。

但這個幾年前才出現(xiàn)的職業(yè)現(xiàn)在似乎有被圍困的感覺。這部分是因為必要性——盡管學校和程序在批量制造出新的數(shù)據(jù)科學家軍團，但周圍卻見不到多少，尤其是在招聘到頂級人才方面遭遇更大困難的財富1000強公司。在一些組織，數(shù)據(jù)科學部門正在從使能者演變?yōu)槠款i。

與此同時，AI的大眾化以及自服務(wù)工具的蔓延使得數(shù)據(jù)科學技能有限的數(shù)據(jù)工程師，或者甚至是數(shù)據(jù)分析師執(zhí)行一些基本功能變得更加容易了，而這些功能直到最近仍然是數(shù)據(jù)科學家的領(lǐng)地。在自動化工具的幫助下，企業(yè)的大量大數(shù)據(jù)工作，尤其是那些簡單枯燥的工作，將由數(shù)據(jù)工程師和數(shù)據(jù)分析師進行處理，而不是有著深厚技術(shù)技能的數(shù)據(jù)科學家。

換言之，除非數(shù)據(jù)科學最終不是由機器來完全處理的。但一些初創(chuàng)企業(yè)開始旗幟鮮明地打出了“數(shù)據(jù)科學自動化”的口號——其中最顯著的包括剛剛獲得5400萬美元融資的DataRobot，Salesforce Einstein也宣稱自己可以自動生成模型。

不奇怪的是，這些趨勢在數(shù)據(jù)科學社區(qū)不受歡迎并引起了爭議(當然了，誰會歡迎搶自己飯碗的事情)。然而，數(shù)據(jù)科學家目前大概還不需要太過恐懼。在氪遇見的未來里，自服務(wù)工具和自動化模型選擇將會“增強”數(shù)據(jù)科學家而不是消滅他們，其作用將是解放他們，讓他們把焦點放在需要判斷、創(chuàng)造力以及社會化技能或者垂直行業(yè)知識的任務(wù)上面。

讓一切一起協(xié)作：數(shù)據(jù)工作臺的崛起

在大多數(shù)大型企業(yè)里，大數(shù)據(jù)的采用都是從少數(shù)獨立項目(這里做一點hadoop集群，那里用一用分析工具)以及一些新的職位(數(shù)據(jù)科學家、首席數(shù)據(jù)官)開始的。

但現(xiàn)在異質(zhì)性已經(jīng)開始發(fā)展，各種各樣的工具在整個企業(yè)范圍內(nèi)得到了使用。在大公司的組織范圍內(nèi)，集中化的“數(shù)據(jù)科學部門”正在讓位于更加去中心化的組織，這個由數(shù)據(jù)科學家、數(shù)據(jù)工程師以及數(shù)據(jù)分析師組成的群體，正日益嵌入到不同的業(yè)務(wù)部門里面。因此，對于平臺來說需求已經(jīng)很明顯了，那就是要讓一切都能協(xié)作到一起來，因為大數(shù)據(jù)的成功正是建立在設(shè)立一條由技術(shù)、人以及流程組成的裝配線基礎(chǔ)之上的。

因此，一個全新的協(xié)作平臺類型正在加快出現(xiàn)，引領(lǐng)著所謂的DataOps(與DevOps對應(yīng))領(lǐng)域的發(fā)展。這方面值得關(guān)注的初創(chuàng)企業(yè)包括Dataiku 、Knime以及Domino Data Lab等。Cloudera最近剛剛基于收購的Sense發(fā)布了一款工作臺產(chǎn)品。該領(lǐng)域的開源運動也很強勁，比方說Jupyter和Anaconda就是例子。

應(yīng)用

AI驅(qū)動的垂直應(yīng)用

AI驅(qū)動的垂直應(yīng)用出現(xiàn)已經(jīng)有好幾年歷史了，但這股潮流已經(jīng)從涓涓細流變成了怒濤激流。突然之間似乎每個人都在開發(fā)AI應(yīng)用，不管是新的初創(chuàng)企業(yè)，還是后期階段的創(chuàng)業(yè)公司都押注到AI身上，希望能給自己帶來新的突飛猛進式的發(fā)展。

當然，水變大了難免魚龍混雜，這里當然有一些真正令人興奮的初創(chuàng)企業(yè)，但也有不少是掛羊頭賣狗肉來蹭熱點的。只是用了點機器學習的公司算不上AI公司。

Python量化投資實戰(zhàn)營(深圳-香港)

2017年7月17日-21日(第一期)深圳-香港

2017年8月21日-25日(第二期)深圳-香港

量化交易深入解析

用Python做量化交易

Mongodb數(shù)據(jù)庫與數(shù)據(jù)處理

Python量化引擎基礎(chǔ)，執(zhí)行一個策略

環(huán)球FOF投資

股票數(shù)據(jù)統(tǒng)計與Alpha因子策略

量化策略-CTA策略……

基本上來說，做一家AI公司是很棘手的。選擇一個垂直的問題當然是個重要的開始。除了要有深厚的技術(shù)DNA以外，這還需要審慎的定位和戰(zhàn)術(shù)。但是AI帶來的無限可能性是很難不讓人著迷的。

尤其是在去年，把任何數(shù)據(jù)問題用AI來解決顯然已成趨勢，無論是企業(yè)一樣還是垂直行業(yè)都是如此。所以為了反映這一趨勢，今年的大數(shù)據(jù)版圖增加了交通、房地產(chǎn)、保險等垂直行業(yè)，并且把特別活躍的領(lǐng)域拆分了出來，比如營銷應(yīng)用現(xiàn)在分出了B2B和B2C，生命科學分成了醫(yī)療保健和生命科學。

除了一些多少還是未來主義感覺的領(lǐng)域(比如無人車)以外，AI已經(jīng)在更加沒有想象空間的企業(yè)領(lǐng)域發(fā)揮作用，比如提供預測、后端事務(wù)自動化、安全等。

盡管AI對人類工作的威脅還不是迫在眉睫，但將來沒有任何一種職業(yè)會對此免疫。其中包括一些最為根深蒂固的白領(lǐng)工作，如醫(yī)生或者律師等。(參見Ben Thompson：AI 已來，你最應(yīng)該擔心的不是生命，而是存在的意義)金融界似乎一直在思考著AI的可能性和威脅。對沖基金正在為自己的算法尋找合適的替代數(shù)據(jù)。新的AI驅(qū)動的對沖基金盡管還處在發(fā)展的早期階段，但已經(jīng)表現(xiàn)出不錯的勢頭(比如Numerai、Data Capital Management等)。而華爾街一些最著名的機構(gòu)正在逐漸用AI來取代人力(黑石、高盛等)。

聊天機器人遭遇反沖

喜歡也好，討厭也罷，2016年都可以稱得上是聊天機器人之年，這些全自動化的事實對話代理基本上都是出現(xiàn)在聊天服務(wù)里面。聊天機器人盡管出現(xiàn)的時間不長，但已經(jīng)經(jīng)歷了好幾個炒作周期，從早期給人希望，到Tay的災(zāi)難性收場，再到迷你復蘇，乃至于Facebook在其Messenger平臺推出的AI機器人錯誤率達到70%之后縮減了這方面的努力。

現(xiàn)在看來對聊天機器人的興奮似乎高興太早，原因也許是大家從亞洲的聊天機器人崛起以及Slack等底層基礎(chǔ)設(shè)施的快速發(fā)展得出了過于樂觀的信號。當然，聊天機器人最終的潛能肯定是非常巨大的，但它的真正成熟還需要很長的時間。目前為止，無論是“生產(chǎn)者”還是“消費者”都需要調(diào)整一下對它的期望。實際上，Amazon Echo的成功正是在縮小了場景之后取得的，而用戶也不要指望機器人什么都能回答了。現(xiàn)階段把人引入到過程里面，把AI作為增強因素的解決方案和服務(wù)應(yīng)該是最看好的模式。

結(jié)論

通過大數(shù)據(jù)與AI的黃金搭檔，我們正在進入大數(shù)據(jù)技術(shù)的“收獲”階段。其潛能將非常巨大。

隨著核心基礎(chǔ)設(shè)施不斷走向成熟，以及在AI推動下應(yīng)用側(cè)的爆發(fā)，2017年的大數(shù)據(jù)(以及AI)生態(tài)體系將開足馬力，駛向光明的未來。