阿里巴巴CTO即阿里云負責人王堅博士說過一句話:云計算和大數據,你們都理解錯了。
實際上,對于大數據究竟是什么業界并無共識。大數據并不是什么新鮮事物。信息革命帶來的除了信息的更高效地生產、流通和消費外,還帶來數據的爆炸式增長。“引爆點”到來之后,人們發現原有的零散的對數據的利用造成了巨大的浪費。移動互聯網浪潮下,數據產生速度前所未有地加快。人類達成共識開始系統性地對數據進行挖掘。這是大數據的初心。數據積累的同時,數據挖掘需要的計算理論、實時的數據收集和流通通道、數據挖掘過程需要使用的軟硬件環境都在成熟。
概念、模式、理論很重要,但在最具實干精神的互聯網領域,行動才是最好的答案。國內互聯網三巨頭BAT坐擁數據金礦,已陸續踏上了大數據掘金之路。
BAT都是大礦主,但礦山性質不同
數據如同蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數據并不在“大”,而在于“有用”。價值含量、挖掘成本比數量更為重要。
百度擁有兩種類型的大數據:用戶搜索表征的需求數據;爬蟲和阿拉丁獲取的公共web數據。
阿里巴巴擁有交易數據和信用數據。這兩種數據更容易變現,挖掘出商業價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數據、移動數據。如微博和高德。
騰訊擁有用戶關系數據和基于此產生的社交數據。這些數據可以分析人們的生活和行為,從里面挖掘出政治、社會、文化、商業、健康等領域的信息,甚至預測未來。
下面,就將三家公司的情況一一掃描與分析。
一、百度:含著數據出生且擁有挖掘技術,研究和實用結合
搜索巨頭百度圍繞數據而生。它對網頁數據的爬取、網頁內容的組織和解析,通過語義分析對搜索需求的精準理解進而從海量數據中找準結果,以及精準的搜索引擎關鍵字廣告,實質上就是一個數據的獲取、組織、分析和挖掘的過程。
除了網頁外,百度還通過阿拉丁計劃吸收第三方數據,通過業務手段與藥監局等部門合作拿到封閉的數據。但是,盡管百度擁有核心技術和數據礦山,卻還沒有發揮出最大潛力。百度指數、百度統計等產品算是對數據挖掘的一些初級應用,與Google相比,百度在社交數據、實時數據的收集和由數據流通到數據挖掘轉換上有很大潛力,還有很多事情要做。
2月底在北京出差時,寫了一篇《搜索引擎的大數據時代》發在虎嗅。創造了零回復的記錄。盡管如此,仍然沒有打消我對搜索引擎在大數據時代深層次變革的思考。 搜索引擎在大數據時代面臨的挑戰有:更多的暗網數據;更多的WEB化但是沒有結構化的數據;更多的WEB化、結構化但是封閉的數據。這幾個挑戰使得數據正在遠離傳統搜索引擎。不過,搜索引擎在大數據上畢竟具備技術沉淀以及優勢。
接下來,百度會向企業提供更多的數據和數據服務。前期百度與寶潔、平安等公司合作,為其提供消費者行為分析和挖掘服務,通過數據結論指導企業推出產品,是一種典型的基于大數據的C2B模式。與此類似的還有Netflix的《紙牌屋》美劇,該劇的男主角凱文·史派西和導演大衛·芬奇都是通過對網絡數據挖掘之后,根據受歡迎情況選中的。
百度還會利用大數據完成移動互聯網進化。核心攻關技術便是深度學習。基于大數據的機器學習將改善多媒體搜索效果和智能搜索,如語音搜索、視覺搜索和自然語言搜索。這將催生移動互聯網的革命性產品的出現。盡管百度已經出發,其在大數據上可做的事情還有很多。
在數據收集方面,百度需要聚合更多高價值的交易、社交和實時數據。例如加強自己貼吧知道的社交能力、盡快讓地圖服務與O2O結合進而掌握交易數據,以及推進移動App、穿戴式設備等數據收集系統。
在數據處理技術上,百度成立深度學習研究院加強自己在人工智能領域的探索,在多媒體和中文自然語言處理領域已經有一些進展;云存儲、云計算的基礎設施建設也在逐步完善。但深度學習仍然是一個巨大的挑戰,百度等探索者還有很多待解問題,如:無監督式學習、立體圖像識別。
在數據變現方面,百度需將數據挖掘能力、數據內容聚合和提取等形成標準化的服務和產品,進而開拓大數據領域的企業和開發者市場。而不僅僅是頗為個性化、定制化地為大型企業提供解決。
百度的優勢體現在海量的數據、沉淀十多年的用戶行為數據、自然語言處理能力和深度學習領域的前沿研究。在技術人才方面百度是聚集國內最多大數據相關領域頂尖人才的公司。聽說百度前段時間花五千萬挖了數據挖掘、自然語言處理、深度學習領域的十來位大牛,包括一些學者和教授。例如Facebook科學家徐偉。
在挖人上,舍得花錢不夠,還得用心。對于真正的大牛來說,錢只是一個影響因素。能否實現自己的夢想,公司的資源能否幫助自己的研究至關重要。徐偉在回國前就曾問過其他從硅谷回國工程師的意見,得到答案是積極的,最終促成他作出決定。
總體來看,百度擁有大數據也具備大數據挖掘的能力,并且正在進行積極地準備和探索。在加強面向未來的研究和人才布局的同時,也注重實用性的技術產出。
二、騰訊:數據為產品所用,自產自銷
微創新提出者金錯刀有個關于騰訊的故事。 1999年騰訊公司剛剛成立不久,天使投資人劉曉松決定向其注資的一個主要原因就是因為他發現,“當時雖然他們的公司還很小,但已經有用戶運營的理念,后臺對于用戶的每一個動作都有記錄和分析。”而另一個投資人卻因為馬化騰在公司很小時就花錢在數據上表示不滿。此后騰訊的產品生產及運營、騰訊游戲的崛起都離不開對數據的重視。
騰訊擁有社交大數據,在企鵝帝國完成數據的制造、流通、消費和挖掘。 騰訊大數據目前釋放價值更多是改進產品。據騰訊Q1財報,增值服務占總收入的78.7%;電子商務業務占14.1%;網絡廣告收入占6.3%。從廣告收入比例可以看出騰訊的大數據在精準營銷領域暫時還未大量釋放出價值。與其產品線對應的GMAIL、Google+的Google以及社交巨頭Facebook則通過廣告賺得盆滿缽滿。
在筆者看來,騰訊的思路主要是補齊產品,注重QZONE、微信、電商等產品的后端數據打通。例如最近騰訊微博利用“大數據技術”實現好友關系自動分組、低質量信息自動過濾、優質信息分類閱讀等智能化功能。明顯的用數據改進產品的思路。 那么如果騰訊要深入大數據挖掘缺少什么呢?筆者認為其只需馬化騰“摁下啟動按鈕”。數據已經準備好了,就差模式,也就是找到需求或者能更深層次驅動大數據利用的產品,而不是用大數據改進自己的產品。騰訊還在觀望,等其他人去試錯驗證出一套模式或者產品后,自己可以“站在巨人肩上”。這是騰訊的典型思維。
在人才方面,騰訊很早便開始重金挖人。尤其是2010年在Google宣布退出中國后,Google圖片搜索創始人朱會燦、Google中國工程研究院副院長顏偉鵬、Google中日韓文搜索算法的主要設計者,《浪潮之巔》及《數學之美》作者吳軍相繼加入騰訊。搜搜花了很多錢,但被認定為一款無法承載騰訊重托的產品,最后這些大牛都走了。大都回Google了。
騰訊在大數據領域也缺少技術帶頭人。其對公關也不重視。技術大牛很少出來做報告,更不會向百度、阿里那樣主動包裝宣傳技術大牛。其技術雖然低調,但執行力很強。據騰訊的程序員朋友說封閉開發、集體加班是常有的事情。但配套的重金激勵也能跟上。重金之下必有勇夫、騰訊用制度保障技術產出。另外騰訊在高校合作領先一步,在2010年便與清華大學合作成立了清華騰訊聯合實驗室。這么看騰訊的技術人才這塊似乎有短板。會不會到時候馬化騰按下啟動按鈕,發現沒數據挖掘能力呢?不會,騰訊搞不定數據挖掘,到時候依然可以挖到大牛,甚至讀論文來搞定這事兒。數據挖掘已較為成熟。數據挖掘實際是數據庫、統計學、機器學習三個領域的融合。在學術界已經發展多年。不過自然語言識別和深度學習等方面要趕上百度,就難了。除非將百度的數據和眾大牛一起倒騰過來。
總體來看,騰訊目前的大數據策略是先將產品補全,產品后臺數據打通,形成穩定生態圈。本階段先利用大數據挖掘改進自己的產品。后期有成熟的模式合適的產品,則利用自家的社交及關系數據時,開展對大數據的進一步挖掘。
三、阿里巴巴:坐擁金數據,嘗試做面向未來的數據集市
阿里巴巴B2B出身,在外貿蓬勃的大環境下,依靠服務中小企業發家。淘寶、支付寶等toC的產品出生前,阿里并不依賴也不擅長技術。業界普遍認為阿里沒有技術基因。直到淘寶、支付寶以及天貓三個產品后,對海量用戶大并發量交易、海量貨架數據的管理、安全性等方面的嚴苛要求,阿里完成進化,在電商技術上取得不菲的成績。在一段時期阿里仍然浪費了手里掌握的大量數據。這些數據還是“最值錢”的金數據。
數據挖掘無非是從原始數據提取價值。阿里現有的數據產品例如數據魔方、量詞統計、推薦系統、排行榜以及時光倒流相對來說是比較簡單的BI(商業智能),沒到大數據的階段。“大數據”浪潮襲來,阿里提出“數據、金融和平臺”戰略。前所未有地重視起對數據的收集、挖掘和共享。馬云在“退居”前動不動都對外提“數據”。有位阿里朋友甚至開玩笑說,馬云英文名可以從Jack Ma改為Data Ma。阿里現CEO陸兆禧曾做過CDO,首席數據官。為了用數據來驅動阿里電商帝國,阿里還成立了橫跨各大事業部的“數據委員會”。
阿里的各項投資案也顯示其整合、利用和完善數據的野心:新浪微博的社交及媒體數據、高德的地圖數據和線下數據以及友盟的移動應用數據,都是其數據及平臺戰略的一部分。數據戰略正在首席人工智能官(CBO)車品覺領頭下逐步落地,王堅的云為其提供基礎設施、基礎技術支撐。
就在馬云退休之后,王堅對外透露其跟馬云開玩笑說的一句話:阿里巴巴對數據的理解深度,不會超過蘇寧對電子商務的理解。估計馬云不一定認同他這話。馬云對大數據已經有著自己的理解和考量。馬云曾經說過其對大數據的思考。大致意思是:現在從信息時代進入數據時代了。區別是信息時代更多的是精英玩的游戲。我比別人聰明,我能提取出信息出來;數據時代,別人比我聰明,將數據開放給更聰明的人處理,數據即資產,分析即服務。
計算機發展的過程是從象牙塔、到平民到草根。大數據也是這樣,一開始在象牙塔階段,少數精英公司才能玩;但到后面只要有數據就有價值。數據也有所有權,產生數據、流通數據、挖掘數據的都會獲得相應的價值。而阿里擅長的便是“建立市場”,建立一個數據交易市場。屆時任何個人和企業都可以將數據和挖掘服務拿上去,交易。初期阿里會將自己珍藏的電商和信用數據逐步放到上面。 有數據的人,拿上去賣,或者讓別人分析,分析即服務。沒有數據的人,即可以去買,也可以去幫別人挖掘,做礦工。
阿里并不是技術驅動,而是業務驅動的。因此在技術層面我們看到,基于前面提到的阿里大數據思路,其技術重心主要在系統層面。阿里擁有LVS(Linux Virtual Server,Linux虛擬服務器)開源軟件創始人章文嵩,Linux Kernal、文件系統、大牛DBA等領域的大牛。從人才布局可以看到阿里擅長的技術領域,體現在對于并發訪問、電信級別的電商業務的支撐方面的得心應手。在去年雙十一期間,支撐了單日過億的訂單量。鐵道部奇葩網12306在日均40萬時已經不行了。
總體來看,阿里更多是在搭建數據的流通、收集和分享的底層架構。自己并不擅長似乎也不會著重來做數據挖掘的活兒。而是將自己擅長的“交易”生意擴展到數據。讓天下沒有難做的“數據生意”。
總結一下
移動互聯網浪潮下,現實世界正在加速數字化,每個人,每個物體、每件事情、每一個時間節點,都在向網上映射??臻g和時間兩個維度的聯網,使得數字世界正在接近一步步模擬現實世界。歷史、現在和未來都會映射到網上。對大數據的挖掘正是對世界的二次發現和感知。BAT三巨頭已經出發。(作者:羅超)