在百度大數(shù)據(jù)開放大會上，搞計算機學術(shù)理論的懷進鵬校長的演講猶如給所有聽眾的一記悶棍，懷校長的學術(shù)演講把大家弄得云里霧里，把所有人弄暈了，現(xiàn)場能夠聽懂的絕對是少數(shù)。
可能都會覺得懷校長有點像個外星人一般在那自顧自的演講。作為一個曾經(jīng)有志從事人工智能研究但失之交臂的又是學計算機畢業(yè)的人卻越聽越興奮，冥冥中似乎找到了未來的人工智能所能抵達的可能性，那么筆者現(xiàn)在就嘗試把懷教授的演講轉(zhuǎn)換為大家也能夠聽懂的語言吧。
一、理解大數(shù)據(jù)
1、當前大數(shù)據(jù)的四大特征：規(guī)模大、變化快、種類雜、價值密度低。
其實這理解起來很簡單，我們來看新浪微博的大數(shù)據(jù)，為什么變現(xiàn)那么困難就知道了，新浪微博擁有龐大海量的用戶大數(shù)據(jù)，但用這些行為數(shù)據(jù)變現(xiàn)卻步履維艱，原因就在于微博上所產(chǎn)生的數(shù)據(jù)不夠垂直，涉及面極廣，而能夠與商業(yè)相關的價值就更加難以挖掘了。
2、產(chǎn)業(yè)成果
懷校長列舉了三塊內(nèi)容，百度和谷歌熟悉用戶瀏覽行為，進而提供個性化的搜索。淘寶亞馬遜因為熟悉用戶購物習慣，可以為用戶提供精準的喜好物品。微博和twitter了解用戶思維習慣和社會認知，可以為國家和企業(yè)提供民眾情緒等系列數(shù)據(jù)。
二、大數(shù)據(jù)到大數(shù)據(jù)計算
1、大數(shù)據(jù)膨脹，如何處理算法以及數(shù)據(jù)的問題?上面提到的是通過改變算法來達到遍歷數(shù)據(jù)的目的，但是在真正處理數(shù)據(jù)時依然是無法做到高效的，畢竟機器CPU的運算瓶頸擺在那里，算法工程師本質(zhì)上在做的事情就是在現(xiàn)有的運算條件下，設計出最優(yōu)方案，來求得最好的結(jié)果。
2、大數(shù)據(jù)膨脹，如何解決搜索問題?傳統(tǒng)的算法在搜索數(shù)據(jù)時完全沒有問題，因為數(shù)據(jù)量很小，但是當數(shù)據(jù)海量增長時問題就會凸顯出來，用原來的算法去計算肯定是不行的，按照當前最快的硬盤檢索速度(60GPS)，線性掃描完1PB(10TB的15次方)的數(shù)據(jù)需要1.9天的時間，所以當數(shù)據(jù)海量膨脹時，必須重構(gòu)算法策略來做數(shù)據(jù)的處理。百度目前的處理量是一天處理10PB的網(wǎng)頁數(shù)據(jù)，這其中包括了運算和讀取，算是目前最好的算法了。
而懷校長告訴我們的這個挑戰(zhàn)就是，在大數(shù)據(jù)的膨脹后，不僅要將原來的算法更換為近似算法，同樣還要將數(shù)據(jù)更換為近似數(shù)據(jù)，只有二者合力改變才有可能在現(xiàn)有機器運算能力的情況下抵達最優(yōu)的結(jié)果。
同樣是說起來容易做起來難，在這樣的近似算法以及近似數(shù)據(jù)的改變下，到底該近似到何種程度，才能夠最接近原算法的結(jié)果?要知道，在計算機世界里，差之毫厘失之千里，改變的量也許很小，但是如果一旦改錯，就會造成巨大的錯誤結(jié)果，稍懂程序的人都知道，幾行簡短的代碼就能讓無論CPU運算能力多強的電腦徹底死機，而搜索引擎則更是一個更加龐大的試錯工程。
最后，懷校長展示了兩個學術(shù)前沿發(fā)展，第一，是定義易解類問題，從現(xiàn)實應用中找到這類易搜索問題，將之歸類并應用于其他實踐當中。第二，是將大數(shù)據(jù)進行小數(shù)據(jù)處理，尋找轉(zhuǎn)化的精度度量，也就是他之前所說的尋找數(shù)據(jù)的近似值。
此外在大數(shù)據(jù)計算中，懷校長還講了大數(shù)據(jù)運算的三大基礎，表示，度量和理解。因為太過專業(yè)，解釋每一個詞都足夠用一篇文章來解釋，而且還不一定說得清，所以在此略過。
三、實踐中的思維轉(zhuǎn)變
大數(shù)據(jù)帶給我們在研究以及實踐策略上的思維轉(zhuǎn)變。
1、從精確到非精確。關于這一點其實也很好理解，我們就拿傳統(tǒng)時代的搜索來說，在傳統(tǒng)的搜索時代，當我們?nèi)ゲ樵兡硞€信息時，我們需要得到的是全部的數(shù)據(jù)，但是搜索引擎則完全改變了我們這種認識，搜索引擎提供的只是前幾項內(nèi)容，而這幾項內(nèi)容則完全滿足了我們的信息需求。
搜索引擎其實在做的是一套模糊算法，經(jīng)過一系列的算法計算，將最優(yōu)秀的結(jié)果帶到用戶面前，而這種結(jié)果上的呈現(xiàn)也顛覆了傳統(tǒng)所認知的對于目標的定義，在大數(shù)據(jù)時代，我們追求的不再是絕對目標，而是一個從宏觀趨勢下推導出的一些模糊的不精確的未知目標。
2、從抽樣到全樣，大數(shù)據(jù)的大決定了大而全的特性，在傳統(tǒng)工業(yè)中教會我們做統(tǒng)計的最大方式就是抽樣，諸如系統(tǒng)抽樣，分層抽樣，定額抽樣……，這些統(tǒng)計方法將會在大數(shù)據(jù)時代越來越不復存在。大數(shù)據(jù)的信息化可以統(tǒng)計到一切想要統(tǒng)計的數(shù)據(jù)，將工業(yè)時代的統(tǒng)計方法淘汰掉。
3、從因果到關聯(lián)。而這也直接導致了西方又產(chǎn)生了驚人的言論—“理論已死”，這是繼“上帝之死”，“人之死”，“作者已死”“歷史的終結(jié)"，”哲學已死“后的又一大膽的言論。以往的決策者要想決定某件事，必須參考各種理論，對其中的因果進行判定后才能達成，但是大數(shù)據(jù)時代則讓決策變得更加容易，比如超市大數(shù)據(jù)可能會用清晰的圖表告訴你每當下雨天時，超市里的蛋糕會賣的多，這時候決策者根本不需要知道任何理論，任何因果，只需要在天氣預報預測明天將要下雨時提前準備蛋糕就行了。
四、大數(shù)據(jù)軟件工程
1、如何解決大數(shù)據(jù)的計算支撐問題?說的簡單點就是，大數(shù)據(jù)處理必然不是一臺或者幾臺服務器就能搞定的小事情，大數(shù)據(jù)處理需要龐大的硬件支撐，硬件支撐也必然是分布式的設計，那么該如何設計頂層的系統(tǒng)架構(gòu)才能高效能的滿足大數(shù)據(jù)的處理工作?近似性(Inexact)、增量性(Incremental)和歸納性(Inductive)的3I特征如何被滿足?
大數(shù)據(jù)下分布式硬件如何與軟件協(xié)同，如何避免擴展失度，處理失效和耗能失控，這些都是令人頭大的問題。在系統(tǒng)設計上充滿挑戰(zhàn)。
2、眾包大數(shù)據(jù)是否可以開發(fā)軟件?這其實是一個非常瘋狂的想法，我是這樣解讀懷校長的想法的，假設目前我們可以做到眾包大數(shù)據(jù)軟件開發(fā)，那么情形應該如下：大數(shù)據(jù)爬行機器根據(jù)讀取新浪微博的數(shù)據(jù)，百度指數(shù)的數(shù)據(jù)，百度貼吧的數(shù)據(jù)，淘寶的交易數(shù)據(jù)后，發(fā)現(xiàn)了用戶的各種情緒以及需求的曲線，軟件開發(fā)者再根據(jù)這些數(shù)據(jù)的呈現(xiàn)開發(fā)出一套軟件的模型然后交給運營商放置于云端，而用戶再參與進入各種云端產(chǎn)生的軟件，在此種產(chǎn)生了各種行為，于是機器再根據(jù)這些用戶的行為，為軟件建模，規(guī)劃。
這是一種極為精尖交互式數(shù)據(jù)挖掘技術(shù)，前提是解決算法以及存儲問題，一切皆有可能。未來的大數(shù)據(jù)軟件將不會是一種固有形態(tài)，而是一個不斷根據(jù)數(shù)據(jù)自動變化的超級生態(tài)，可能不是依靠產(chǎn)品經(jīng)理推動，而是依靠算法工程師來推動，讓用戶的需求自然暴露，然后為他們?nèi)崿F(xiàn)一些功能。
大數(shù)據(jù)或許會在未來某個階段被定義為：對人類世界的真實還原，并且不斷的滿足我們的任何愿望，曾經(jīng)我們依靠它來決策一些事情，現(xiàn)在我們依靠它來直接抵達我們想要做的事情，我們所有的行為都已經(jīng)成為我們決策的一部分。
京公網(wǎng)安備 11010502049343號