從我第一次嘗試為繁榮發展的大數據生態系統繪制一張信息圖已經過去了兩年, 而這期間大數據行業發生了很多巨大的變化。 我早就該對這張圖做一個更新,現在終于完成了。
從VC的角度,我想談談對這張圖以及大數據行業的一些想法:
越來越擁擠:創業者們蜂擁至這個行業, VC們將大筆的資金投資到看起來有機會成功的創業公司,其結果是,這個行業正變得越來越擁擠。 一些類別如數據庫(不管是NoSQL還是NewSQL)和社交媒體數據分析正趨于成熟,且開始出現并購或者淘汰出局(Twitter對BlueFin和GNIP的收購可能意味著在社交媒體數據分析領域這種趨勢早已經開始了)。
對于后來者來說, 雖然空間依然存在,但看起來早期的大筆風投資金都下注在基礎設施(infrastructure)和分析(analytics)領域,導致成功的標準變得越來越高。 不過, 這并不意味著VC的資金會停止流入這些領域。
對于一些領域,公司的數量之多顯然已經達到了一張地圖所能容納的上限。 我相信還有一些不錯的公司我們沒能納入進來,也許是我們沒有發現,也許是因為地方不夠了, 我在此表示非常抱歉, 同時我也希望大家在評論里對于應當納入那些公司提出反饋和意見。
尚處在早期階段: 總體而言,這個市場還處在發展的早期階段。 過去幾年, 一些被看好的公司失敗了(如Drawn to Scale),一些公司的創業者提前退出了(例如Precog、Prior Knowledge、Lucky Sort、Rapleaf、Nodeable、Karmasphere等 ),還有一些的結局稍好(例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFin labs、BlueKai)。
與此同時,一些公司看起來正越做越大,并獲得大筆驚人的風投注資(比如MongoDB已經融資超過2.3億美元, Palantir融資近9億美元, Cloudera近10億美元。一些大公司正積極出擊進行并購(Oracle收購BlueKai, IBM收購Cloudant),但是總體而言,多數公司離成功實現IPO和投資者功成身退還差的很遠(雖然Splunk和Tableau做到了)。 在很多類別,創業公司和大公司互相競爭,但并沒有出現市場領導者。
市場宣傳遭遇現實:在經歷這些年狂轟濫炸的市場宣傳之后,大數據還是焦點么?未來幾年,也許大數據不再是媒體的熱門,但對于大數據市場而言卻是至關重要的, 因為企業將要開始把大數據項目從試驗轉而全面的部署實施。
雖然這意味著一些大數據提供商的利潤會迅猛增長,但同時這些項目也將成為大數據是否能帶來它所宣傳的價值的一塊試金石。與此同時,隨著“物聯網”行業的迅速崛起,數據將會如潮水般加速增長,進一步推高市場對大數據技術的需求。
基礎設施:Hadoop似乎已經奠定了其作為整個大數據生態系統的關鍵部分,一些競爭者依然雖在, 這一領域也許會進一步發展和整合。 Sprak是另一個的基于Hadoop分布式文件系統(HDFS)的開源框架,它試圖填補Hadoop的弱項,提供更快的的數據分析和良好的編程接口,目前正吸引大量關注(一些跡象顯示它做的還不錯)。
一些主題(比如實時數據處理)依然是重中之重,同時新的主題也在不斷涌現(比如新一代處理、變換、清洗數據的工具,包括Trifacta、Paxata 和 DataTamer)。 企業數據是否會真正的放到云里(公共云或私有云),如果是,還有多久才發生,將是另一個大的話題。很多人認為財富500公司在接下來的幾年來會繼續把數據(以及處理數據的軟件)放在機房里。一批云服務+Hadoop的創業公司則認為長期來看,所有的數據最終都會放到云中。
分析工具:從創業公司和VC投資的數量來看,這一領域最為活躍。從excel表格式的用戶界面,到時間軸動畫和3D動畫, 創業公司提供各種各樣的數據分析工具和用戶界面,而不同的客戶也確實有不同的需求,所以這一領域大概依然有足夠的發展空間。
推廣產品的策略也不盡相同 — 有些創業公司更針對于數據科學家,這群人目前不多但增長迅速。 另一些則正好相反,他們銷售自動化的解決方案給一般商業用戶,完全忽略數據科學家的存在。
大數據應用: 正如之前預測的,大數據緩慢但的確朝著應用層面發展。 這張圖列出了一些令人興奮的創業公司——他們本質上都是基于大數據技術和工具(當然我們無法把所有的相關公司都在這里列出來)。一些公司提供橫向應用——如基于大數據的營銷系統,客戶關系管理系統和欺詐甄別解決方案。
金融業和廣告科技業一直是大數據推廣的領導者和最早的擁躉,甚至早于大數據被稱作大數據。慢慢的,大數據推廣到各行各業,如醫療行業和生化行業(特別是基因研究領域)和教育行業。現在才剛剛開始。
特別感謝我在FirstMark的同事Sutian Dong,她為這張圖做了很多的基礎工作。以及我在彭博Beta的前同事Shivon Zilis,他對這張圖的之前版本做了巨大的貢獻。