從2011年至今，大數據概念火了五年，勢頭依然不減。從人人都在講概念，到商業化應用典型案例出現，可以清晰地看到大數據在逐步落地。以Hadoop為代表的底層架構日趨成熟，處理數據的各項技術有了長足的進步，讓大數據開始在各個領域發揮價值。
我們認為，大數據產業仍在初級階段，商用價值仍未完整展現，市場前景一片廣闊。一方面，國內企業IT投入占比低于全球平均標準，隨著企業對信息化意識逐步提升，整個IT市場的蛋糕有望繼續做大。
另一方面，企業客戶將大量IT預算投入到云計算等基礎設施建設上，隨著基礎設施逐漸成熟，企業會將更多預算投入到大數據、人工智能上，屆時大數據企業將迎來新一波發展浪潮。
大數據技術逐步提升，對大數據產業劃分也越來越細致。從基礎設施到行業應用，各個賽道都涌現出大量創新公司，有些代表著最新的技術和應用，有些則是借助大數據概念炒作。
如何識別有前景的賽道、找出有價值的公司，成為市場新的關注點，這也是愛分析大數據行業圖譜系列報告的主旨所在。
在發掘有價值的賽道之前，首先應該對行業進行劃分，從大到小逐步鎖定目標。從整個產業生態角度，大數據產業可以分為三層：
在上篇大數據行業圖譜(一)中，愛分析介紹了大數據行業中的底層基礎平臺，本文是大數據系列第二篇——通用技術，主要是基于Hadoop等底層基礎平臺的處理數據技術，包括數據采集、數據處理、數據分析、數據可視化等。
從數據流轉過程來看，底層基礎平臺主要解決了數據存儲問題，而通用技術則解決了從數據采集到數據分析的問題，有些技術只解決其中某一環節，如數據采集、數據可視化，有些則同時覆蓋多個環節，如廣告監測同時覆蓋數據采集、處理和分析。
從數據采集到數據分析，通用技術包羅萬象
通用技術涉及到數據處理各個流程，上圖中只是列出目前主要賽道。隨著業務發展，更加細分的領域也開始冒出創新公司，如Kyligence專注于OLAP層數據分析，但這些細分賽道目前相對較小，單個賽道里面只有一兩家成立時間很短的公司，因此尚未列入其中。
在通用技術這個賽道之下，細分領域主要分為兩類：一類是傳統領域借助大數據煥發新春，大數據技術發展推動這些業務進一步發展，提升處理效率;另一類是隨著移動互聯網的興起，為互聯網企業客戶提供基于移動端數據服務。
文本挖掘主要應用于輿情監控方面，大數據公司收集互聯網的各類文本信息，幫助企業更好地進行競爭分析、公關、用戶調研等流程，如智慧星光、波森數據、清博大數據等。
網頁爬蟲技術很早就出現了，早期百度、Google等搜索引擎都在使用。隨著大數據概念深入人心，數據價值被企業所重視，爬蟲技術有了更加廣闊的市場，八爪魚這類提供爬蟲技術的公司發展起來。
廣告監測類公司主要服務品牌企業客戶，為企業提供廣告營銷全流程的數據分析，讓品牌客戶了解其廣告投放效率，更好地進行廣告優化，這一領域秒針系統、AdMaster、TalkingData是領跑者。
BI商業智能公司與數據可視化公司，將報表等數據以圖像等形式呈現，可視化更側重于數據呈現，給企業客戶更加清晰地展示，BI更側重于人機互動，讓業務人員可以更好地在圖像上進行業務分析。
BI領域的有永洪科技和帆軟，數據可視化領域的海智BDP、海云數據、數字冰雹相對領先。
日志分析在早期主要應用在信息安全領域，隨著大數據技術發展，對日志數據處理更加迅速、精細，日志數據的價值被企業客戶認可，其應用領域也逐步延展到公司業務領域，如反欺詐等。這個領域有一些傳統安全公司在做，新公司主要有日志易和瀚思安信。
移動統計、用戶行為分析等領域是隨著移動互聯網的興起而得到快速發展的。移動互聯網時代，移動端軟件如雨后春筍般冒出，掘金者的出現，勢必會出現一些為掘金者送水的人。
移動統計和用戶行為分析均是為這些互聯網公司提供服務，解決這些企業關心的客戶數、轉化率等問題。TalkingData和友盟+是移動統計領域的佼佼者，用戶行為分析領域呈現出GrowingIO、神策數據和諸葛IO三足鼎立之勢。
盡管各細分賽道的公司業務相差很大，但通用技術領域還是存在很多行業共性和未來趨勢，這些現狀和趨勢有助于我們去判斷通用技術類公司未來發展方向。
行業現狀一：大數據概念逐漸落地，各領域在逐步細化
大數據概念興起時，企業客戶最先想到將數據收集存儲起來，因此企業客戶都在建立自己的數據中心等基礎設施。數據存儲之后，如何使用這些數據成為企業新的痛點。
數據可視化是讓企業客戶感受到數據價值的直接體現。但僅僅是可視化呈現是遠遠不夠的，企業客戶希望能夠挖掘數據內在價值，于是數據分析領域逐步繁榮。
因此，伴隨著大數據概念的逐步落地，通用技術領域的公司得以快速發展。同時這一領域逐步細化，衍生出大量專注于某一細分領域的公司。
以數據分析為例，早期主要是網站流量分析，百度統計、CNZZ等。移動互聯網興起之后，TalkingData、友盟等基于移動平臺提供日活量等數據統計公司出現。
隨著業務的發展，僅僅是用戶數據統計已經不能滿足企業的需要，企業開始關注用戶的行為分析，希望可以進行更加精細化地分析，這時候GrowingIO、神策數據等公司出現。
據不完全統計，國內大數據公司有130多家，而國外大數據公司有7000多家。因此，盡管領域逐步細化，還是存在很多洼地，整個行業發展空間還很大。
行業現狀二：提供工具型服務，模式更偏向SaaS
底層基礎平臺公司，多以項目制服務客戶，人力依賴較重。通用技術類公司，更多是提供某一種工具類服務，更容易形成標準化產品，因此可復制性強，人力依賴相對較輕。
目前國內大型企業一般都實行預算制，服務大型企業時，形式上仍然為項目制，但交付時間相對較短，大數據公司仍然可以看做是輸出產品而非人力。
因此，通用技術領域公司的業務模式更偏向SaaS，可以用SaaS類企業的核心指標去分析其運營效率。
因為是工具類服務，客單價一般不高，集中在幾萬至幾十萬之間，上百萬的訂單鳳毛麟角。國外市場同樣如此，Tableau客單價平均在8000美金，Splunk的客單價在5萬美金左右。不過，國內大數據公司目前紛紛涉足傳統企業級市場，客單價有望逐步提高。
行業現狀三：開源社區興起，互聯網巨頭入侵
近年，隨著開源文化興起，越來越多的技術開源，很多大數據相關技術的使用門檻逐步降低，如可視化領域的eCharts，日志分析領域的ElasticSearch，這些工具方便IT人員開發相應的數據技術產品。
與此同時，BAT等互聯網巨頭不斷推出免費的大數據技術產品，如百度統計、友盟統計等，完全可以滿足企業一般需求。
以上這些因素，使得大數據公司的技術優勢逐步降低，僅僅依靠大數據技術已經很難建立起足夠堅實的護城河。
垂直技術面臨挑戰，通用技術平臺同樣面臨巨大沖擊。2016年，跟隨Google步伐，國內互聯網巨頭紛紛開放自己的大數據平臺，阿里云開放“數加”平臺，百度云開放“天算”，BAT已經形成中小企業的服務閉環。對大數據領域的創新公司而言，服務中小互聯網企業這條路幾乎被封死。
行業現狀四：客群轉向傳統企業，集成商成強勁對手
對企業而言，接受大數據技術需要一段時間。互聯網企業對新技術的接受速度，要遠遠快于傳統企業，因此大數據創新公司早期客戶多數為互聯網企業。但隨著業務不斷開展，大數據公司發現互聯網企業的付費意愿低于傳統企業。
一方面，習慣了互聯網免費紅利后，互聯網企業主更傾向于使用免費產品，相比之下，傳統企業用戶相對保守，對免費產品心存疑慮，付費購買產品的習慣從信息化時代延續至今。
另一方面，大型互聯網公司技術實力強，更傾向于內部研發滿足業務需要，不愿意使用外界產品，而傳統企業更樂意接受外界產品。
基于以上兩點，大數據公司將客戶群體由線上互聯網企業逐步轉向傳統企業，如TalkingData早期服務移動端企業，后期轉向服務金融、地產等傳統領域客戶。
不過，傳統企業服務市場盤踞著各類集成商，這些公司與客戶關系非常密切，已形成了強大的行業壁壘，創新型大數據公司切入并不容易。
技術優勢和原有客群逐步被蠶食，打開新市場又面臨很大競爭。面對這種前有堵截、后有追兵的局面，大數據公司如何突圍?
愛分析認為，具備以下特點的大數據公司更容易突圍成功。
行業趨勢一：業務垂直化，聚焦細分領域
盡管企業客戶更希望得到一個整體解決方案，但對大數據公司而言，將業務聚焦在垂直領域更容易發展。
Tableau、Splunk早期都是聚焦可視化、日志分析細分領域，將產品打磨扎實，才向其他領域進行擴展，國內大數據公司應該更加專注一些，將某一領域做實。
專注單一領域，不盲目擴張，也有助于減少競爭，與更多企業合作。想切入傳統企業市場，僅憑大數據公司的商務拓展能力遠遠不夠，有些時候需要與集成商進行合作，借助集成商的渠道切入市場。
行業趨勢二：向上層應用偏移，做厚利潤空間
不管是開源社區，還是互聯網巨頭開放平臺，輸出的更多是技術能力，并不能直接解決企業需求。以Hadoop為例，盡管Hadoop社區技術已經相對成熟，但Cloudera這樣的公司仍然有很大市場。
通用技術領域同樣如此，對企業級客戶來說，他們不關心使用什么樣的技術，能夠解決業務問題才是關鍵。
對大數據公司而言，繼續向底層偏移，強化技術實力這條路會非常艱難，等同于以一己之力對抗整個社區。逐步偏向上層應用，開發具備行業屬性的產品才是更好的選擇。
這樣做更貼近客戶需求，客戶付費意愿更強，同時客單價更高，利潤空間更大。
行業趨勢三：對接多方數據源，實現數據互聯
通用技術公司在服務客戶過程中，會積累大量數據，經過脫敏處理后，這些數據可以用于服務其他客戶。
如TalkingData就在服務移動端中小企業過程中，積累了大量移動設備數據，將這些數據用于為線下金融類客戶提供包括精準營銷在內的多項服務。
目前大數據公司主要是以自身技術服務于客戶的第一方數據源，隨著業務發展，大數據公司慢慢會形成自己的第三方數據源，可以將第三方數據源與第一方數據源打通，實現數據互聯，將大大增強大數據公司的競爭力。
除TalkingData之外，廣告監測領域的秒針系統和AdMaster，可視化領域的海云數據，都在積極建立自己的數據庫，將技術與數據結合，提供更貼近業務的服務。
廣告監測領域機會最大，用戶行為分析需要打開更大市場
盡管通用技術領域整體前景廣闊，但各細分賽道情況或有不同，廣告監測領域機會最大， 網頁爬蟲、文本挖掘領域機會不大。日志分析、用戶行為分析領域的問題是發展空間有限，需要將業務開拓至新行業才有更大的機會。
廣告監測領域機會最大，秒針系統、AdMaster占據前端廣告曝光市場95%份額，形成雙寡頭局面，兩家都在積極布局后端監測市場。此外，移動端TalkingData將中小企業一網打盡，為中小APP軟件提供包括廣告監測在內的多項運營服務。
同時，這些廣告監測公司已經開始尋找數據變現路徑，幫助企業客戶建立第一方和第三方DMP，建立更緊密的合作關系。
BI商業智能與數據可視化領域，單純提供BI與可視化工具，競爭力并不凸顯。因為這類開源技術發展很好，開發成本較小，無法建立技術壁壘，需要向上層應用偏移，將技術與行業應用結合，形成業務壁壘。永洪科技、海云數據等公司都在積極對接業務，重點布局公安、電信等行業，加強客戶黏性。
日志分析領域同樣面臨開源技術沖擊，業內一類公司采取ElasticSearch技術，基于開源技術開發相應產品，競爭力有限。另一類公司自主研發底層技術，碰到的問題是如何在與開源社區競爭中保持技術領先性。
單純是日志分析市場，空間有限，但隨著物聯網的發展，這類公司可將日志數據延伸到機器數據，在物聯網領域發揮更大價值。
用戶行為分析領域市場仍處于早期階段，如果只服務于互聯網客戶，市場空間有限，競爭激烈，加上百度統計、友盟等分析平臺，如何讓企業付費是最大問題。這領域公司需要積極探索如何將業務轉到傳統企業級市場，拓寬發展空間。
網頁爬蟲、文本挖掘領域機會較小，一方面，百度、Google等搜索引擎公司技術積累遠超于新興企業，后者很難形成足夠的技術壁壘，另一方面，通過這類技術采集到的數據價值非常有限，很難利用這類數據為傳統企業提供價值。
至此，通用技術篇暫時告一段落，愛分析會持續關注該領域，不定期進行公司調研和提供行業洞見。
京公網安備 11010502049343號