2014百度世界大數(shù)據(jù)論壇在北京大飯店舉行，百度大數(shù)據(jù)部的副總監(jiān)高亮為大家介紹了如何在一個(gè)海量的數(shù)據(jù)中找到和分析出想要的信息。下面是高亮的演講內(nèi)容。
高亮
以下為百度大數(shù)據(jù)部研發(fā)副總監(jiān)高亮的演講實(shí)錄：
高亮：請(qǐng)大家記住我們剛才的開放云的域名，我們?cè)谏厦孀隽朔浅６嗟幕A(chǔ)建設(shè)的工作。我這邊主要給大家介紹一下從今年4月份發(fā)布開放大數(shù)據(jù)引擎戰(zhàn)略以來，我們?cè)诖髷?shù)據(jù)應(yīng)用方面的一些進(jìn)展。因?yàn)槲抑涝谧膩砹撕芏鄠鹘y(tǒng)行業(yè)的領(lǐng)導(dǎo)和專家們，雖然大數(shù)據(jù)這個(gè)概念炒的非常火，但是大數(shù)據(jù)內(nèi)部運(yùn)作的邏輯，其實(shí)和我們傳統(tǒng)行業(yè)是比較類似的。
比如如果傳統(tǒng)行業(yè)做實(shí)業(yè)的話，首先要有地基，你要有廠房，要有原材料，然后做加工，接下來設(shè)計(jì)成獨(dú)立的產(chǎn)品，給客戶帶來獨(dú)特的體驗(yàn)。我們剛才講的開放云就是大數(shù)據(jù)的地基和廠房，原材料就是在線上和線下產(chǎn)生的海量數(shù)據(jù)。這個(gè)是我們現(xiàn)在百度目前每天數(shù)據(jù)規(guī)模，2013年是25PB，這個(gè)數(shù)字在快速的變化，我們現(xiàn)在處理的能力已經(jīng)提高一倍，數(shù)據(jù)上目前是50PB，增長了一倍，這個(gè)就是我們目前大數(shù)據(jù)庫要處理的數(shù)據(jù)的原材料。那么有了原材料接下來該怎么辦？
數(shù)據(jù)存儲(chǔ)
稍微看一下我們目前的大數(shù)據(jù)處理能力的三層架構(gòu)。首先我們有海量的數(shù)據(jù)儲(chǔ)存能力，然后在這個(gè)基礎(chǔ)上，我們會(huì)做很多智能的分析，在這個(gè)基礎(chǔ)上我們做很多大數(shù)據(jù)的產(chǎn)品，我們會(huì)逐步的開放這三個(gè)方面的能力。先說一下海量數(shù)據(jù)，做實(shí)業(yè)的各位領(lǐng)導(dǎo)和專家們，如果你有原材料，最關(guān)鍵的下一步要做兩件事，一件事情是物流，第二件事情是原材料的標(biāo)準(zhǔn)化，要把原材料制成毛坯，在這個(gè)基礎(chǔ)上才能實(shí)現(xiàn)你的產(chǎn)能。
在海量數(shù)據(jù)的處理上是這樣的，百度三年前我們的架構(gòu)是左邊這樣一個(gè)模式，在這個(gè)時(shí)候我們的數(shù)據(jù)傳輸，我們數(shù)據(jù)的儲(chǔ)存都是每個(gè)產(chǎn)品線有自己的方式，我們大概用了兩年的時(shí)間構(gòu)建現(xiàn)在的數(shù)據(jù)儲(chǔ)存方式，解決兩個(gè)問題，一是數(shù)據(jù)的傳輸。現(xiàn)在百度很多產(chǎn)品線要實(shí)時(shí)產(chǎn)生大量海量的數(shù)據(jù)，這些數(shù)據(jù)都需要被實(shí)時(shí)的儲(chǔ)存一個(gè)地方。
但是這些產(chǎn)品線的數(shù)據(jù)格式都是異構(gòu)的。我們做了非常多的標(biāo)準(zhǔn)化的工作，在基礎(chǔ)上形成了第一個(gè)海量數(shù)據(jù)儲(chǔ)存的產(chǎn)品，叫通用的數(shù)據(jù)倉庫。在使用這個(gè)通用的數(shù)據(jù)倉庫，我們第一個(gè)構(gòu)建了實(shí)時(shí)的海量數(shù)據(jù)的傳輸平臺(tái)，那么任何一個(gè)產(chǎn)品線產(chǎn)生的數(shù)據(jù)都能夠?qū)崟r(shí)的傳送到這個(gè)數(shù)據(jù)倉庫里面。另外我們做了實(shí)時(shí)的數(shù)據(jù)標(biāo)準(zhǔn)化的工作，無論你的數(shù)據(jù)是什么樣的格式，到我們數(shù)據(jù)倉庫里面都以同樣的格式來儲(chǔ)存，有了這個(gè)物流，有了這個(gè)標(biāo)準(zhǔn)化，我們能夠在這個(gè)基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行更多的分析和加工。
那么從這開始，百度的數(shù)據(jù)就開始在大數(shù)據(jù)部門進(jìn)行各種各樣的處理過程。
數(shù)據(jù)分析
這個(gè)圖有點(diǎn)復(fù)雜，這是數(shù)據(jù)在百度的一個(gè)生命周期，這邊涉及到很多的技術(shù)細(xì)節(jié)，我會(huì)詳細(xì)一一介紹。這里我想強(qiáng)調(diào)的是整個(gè)數(shù)據(jù)的流程是全自動(dòng)化的，從數(shù)據(jù)的生成，數(shù)據(jù)的傳輸，數(shù)據(jù)的標(biāo)準(zhǔn)化，到最后數(shù)據(jù)的歸類，數(shù)據(jù)的分析，都是全自動(dòng)化的。這里面我是很高興跟大家宣布，我們這套全自動(dòng)化的流程，并形成了我們自己的產(chǎn)品。
這個(gè)產(chǎn)品我們現(xiàn)在有一個(gè)英文名字叫Query Engine，是一套標(biāo)準(zhǔn)的海量數(shù)據(jù)儲(chǔ)存方案，首先無論你的數(shù)據(jù)是什么樣的，經(jīng)過我們的處理會(huì)把它做成數(shù)據(jù)標(biāo)準(zhǔn)化，當(dāng)你的數(shù)據(jù)實(shí)時(shí)生成，我們有非常好的數(shù)據(jù)傳輸框架，保證你的數(shù)據(jù)上傳到百度的開放云，在上面進(jìn)行建模，進(jìn)行各種各樣可視化分析和決策的過程。我們已經(jīng)成功了上傳分析一家合作企業(yè)將近10T的關(guān)于新能源方面的一些數(shù)據(jù)。百度非常歡迎傳統(tǒng)企業(yè)，如果你有海量的數(shù)據(jù)，你需要各種各樣的分析和操作的話，來接洽我們，來使用我們這款產(chǎn)品。
當(dāng)這個(gè)數(shù)據(jù)已經(jīng)被結(jié)構(gòu)化儲(chǔ)存以后，我們希望在這個(gè)基礎(chǔ)上能夠進(jìn)行各種各樣的智能化分析。就像傳統(tǒng)行業(yè)有自己的產(chǎn)品設(shè)計(jì)中心一樣，會(huì)對(duì)產(chǎn)品進(jìn)行各種各樣的分析、排列組合，做各種各樣的實(shí)驗(yàn)。在這個(gè)實(shí)驗(yàn)的基礎(chǔ)上能夠產(chǎn)生出比較好的產(chǎn)品，能夠滿足用戶的需求。那么在大數(shù)據(jù)部門也有這樣的需求，也需要有大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)中心，在這個(gè)設(shè)計(jì)中心需要做很多實(shí)驗(yàn)，做出適用于百度，適用于客戶的數(shù)據(jù)產(chǎn)品。所以這個(gè)產(chǎn)品經(jīng)過四個(gè)月的努力，我們也已經(jīng)對(duì)外開放。就是之前高級(jí)總監(jiān)朱永忠介紹的，大家可以通過這個(gè)域名去訪問。
在這上面，我們大數(shù)據(jù)新產(chǎn)品的設(shè)計(jì)中心，可以進(jìn)行很多實(shí)時(shí)的智能分析，做很多的實(shí)驗(yàn)，對(duì)產(chǎn)品進(jìn)行很多排列組合，看哪一種產(chǎn)品能夠最適合行業(yè)，滿足百度的需求。
大數(shù)據(jù)產(chǎn)品
那么有了這樣的開放能力，下面給大家介紹在這個(gè)基礎(chǔ)上大數(shù)據(jù)部研發(fā)出來的三個(gè)大數(shù)據(jù)產(chǎn)品，希望能夠?qū)υ谧淖鰧?shí)業(yè)的朋友有幫助。
第一個(gè)產(chǎn)品叫百度司南，專門針對(duì)于當(dāng)企業(yè)發(fā)展到一定的階段，有了一定的品牌影響力的企業(yè)，能夠讓企業(yè)對(duì)自身的品牌有更客觀的了解，一共是三個(gè)方面。第一個(gè)是品牌分析，實(shí)際上你應(yīng)該很想知道你的品牌在那個(gè)同行業(yè)里它的定位怎么樣，周邊的人是如何看待你這個(gè)品牌的，對(duì)你這個(gè)品牌的口碑怎么樣。而且我們把它做到基本上是實(shí)時(shí)的，你可以此時(shí)此刻知道大家對(duì)你品牌的口碑到底怎么樣。
另外一方面，關(guān)注你的品牌，應(yīng)該一定有一批已經(jīng)比較忠實(shí)的用戶了，那么這些人除了關(guān)注你的品牌，像剛才陳總講的一樣，除了關(guān)注你的品牌，他還關(guān)心什么別的，他還對(duì)什么樣的東西感興趣。這些我們通過基于統(tǒng)計(jì)的用戶畫像也能夠告訴你。
另外一個(gè)這些人是通過什么渠道來了解到你的品牌，他是通過IPAD，是通過手機(jī)，通過看電視，還是通過PC、還是移動(dòng)互聯(lián)網(wǎng)的瀏覽，這樣以后做營銷行為，就知道如何很快的影響到你的受眾，什么樣的渠道是最有效的。那么通過這幾個(gè)方式，我們都能夠告訴大家你的品牌到底處在什么樣的狀態(tài)。
給大家看兩個(gè)司南在品牌上的應(yīng)用。第一個(gè)叫代言人。很多品牌到了后期推廣的時(shí)候，都有找代言人的需求。什么樣的代言人在你最想影響的受眾是最有號(hào)召力。之前是一些拍腦袋的決策，但是通過我們司南，通過海量的數(shù)據(jù)，通過海量的用戶行為分析，可以幫助你做一個(gè)決策的科學(xué)。實(shí)際上我們已經(jīng)通過大數(shù)據(jù)的分析，可以產(chǎn)生出超過一千家的企業(yè)，他們最合適的代言人到底是哪一位。如果哪位老總也想嘗試自己品牌的話，可以和我們合作，我們可以告訴你，通過我們的數(shù)據(jù)，什么樣的代言人，對(duì)于你的受眾會(huì)產(chǎn)生最大的品牌號(hào)召力。
另外一個(gè)是輿情分析，實(shí)際是跟品牌的口碑最像。你的企業(yè)里有一系列的產(chǎn)品，每一個(gè)產(chǎn)品可能有輕微的差異化，就像我們的化妝品一樣，每一款產(chǎn)品在用戶中的口碑到底怎么樣，用戶喜歡這些產(chǎn)品什么樣的功能，不喜歡這些產(chǎn)品什么樣的功能。在之前，很多公司通過調(diào)研公司到各個(gè)城市，通過實(shí)時(shí)的訪談獲得一些統(tǒng)計(jì)數(shù)據(jù)。整個(gè)過程要耗費(fèi)一個(gè)月左右。通過我們的輿情分析，幾乎可以實(shí)時(shí)告訴你這個(gè)答案，到底有多少用戶是喜歡這個(gè)功能，有多少用戶不喜歡這個(gè)功能。一個(gè)是通過一個(gè)月，一個(gè)是通過實(shí)時(shí)，這樣的話就有時(shí)間差了。這個(gè)時(shí)間差就是百度大數(shù)據(jù)能給傳統(tǒng)行業(yè)帶來的競(jìng)爭(zhēng)力。
這是我們第一款基于大數(shù)據(jù)的工具，叫百度司南。
另外就是我們的預(yù)測(cè)平臺(tái)產(chǎn)品。預(yù)測(cè)這個(gè)產(chǎn)品說的已經(jīng)比較多了，這次想跟大家說的是，當(dāng)我們發(fā)布了預(yù)測(cè)產(chǎn)品，并且取得了比較好的效果，很多公司，或者是一些政府部門會(huì)跟我們接洽，能不能幫我們也分析一下數(shù)據(jù)。比如景點(diǎn)希望我們幫他預(yù)測(cè)下一步七天的人流到底多還是不多。有的企業(yè)希望讓我們幫他預(yù)測(cè)下一步季度營業(yè)額是否能跟上一個(gè)季度匹配。
我們現(xiàn)在非常高興的把我們的預(yù)測(cè)平臺(tái)能力開放出來，你不需要再去接洽百度的產(chǎn)品經(jīng)理做這樣的事情，只要你使用我們的開放平臺(tái)上傳你的數(shù)據(jù)，我們后面就會(huì)基于一系列各種各樣的數(shù)據(jù)分析，智能的算法和百度后臺(tái)自己的數(shù)據(jù)幫你做一些決策和分析。希望能夠幫助傳統(tǒng)企業(yè)做決策分析的時(shí)候能夠多一些科學(xué)的決策依據(jù)。
另外一個(gè)是我們的推薦。我們現(xiàn)在非常高興把我們這個(gè)能力也開放出來，非常可惜我們目前只面對(duì)互聯(lián)網(wǎng)的站長，站長可以定定制到底想用我們推薦的哪一方面的技術(shù)和性能、功能，非常靈活的為他的網(wǎng)站做推薦。但實(shí)際上我們最想做到的是把我們這套推薦引擎，和傳統(tǒng)行業(yè)結(jié)合起來，和很多實(shí)時(shí)推薦結(jié)合起來，在這塊也非常希望傳統(tǒng)的行業(yè)能跟我們接洽，把我們這種非常先進(jìn)的線上推薦的技術(shù)和線下的場(chǎng)景結(jié)合起來，在線下發(fā)揮更大的功能。
三個(gè)產(chǎn)品只是揭開了冰山一角，在大數(shù)據(jù)這個(gè)方面，產(chǎn)品設(shè)計(jì)的想象力其實(shí)是很多很多的，我們?cè)谶@方面也非常興奮，后面我們也會(huì)陸續(xù)推出一系列的大數(shù)據(jù)產(chǎn)品，請(qǐng)大家期待。百度愿意與更多的人一起合作，在大數(shù)據(jù)這個(gè)方向上給百度，給行業(yè)、給用戶帶來更多的價(jià)值。謝謝大家。
京公網(wǎng)安備 11010502049343號(hào)