用Google搜索了一下“Big Data”，得到了19,600,000個結(jié)果……而使用同樣的詞語，在兩年前你幾乎搜索不到什么內(nèi)容，而現(xiàn)在大數(shù)據(jù)的內(nèi)容被大肆宣傳，內(nèi)容多得讓人眼花繚亂。而這些內(nèi)容主要是來自IBM、麥肯錫和O’Reilly ，大多數(shù)文章都是基于營銷目的的夸夸其談，對真實(shí)的情況并不了解，有些觀點(diǎn)甚至是完全錯誤的。我問自己…… 大數(shù)據(jù)之于數(shù)據(jù)分析師，它意味著什么呢?如下圖所示，谷歌趨勢顯示，與“網(wǎng)站分析”(web analytics)和”商業(yè)智能”(business intelligence)較為平穩(wěn)的搜索曲線相比，“大數(shù)據(jù)”(big data)的搜索量迎來了火箭式的大幅度增長。
被神話的大數(shù)據(jù)
Gartner把“大數(shù)據(jù)”的發(fā)展階段定位在“社交電視”和“移動機(jī)器人”之間，正向著中部期望的高峰點(diǎn)邁進(jìn)，而現(xiàn)在是達(dá)到較為成熟的階段前的二至五年。這種定位有著其合理性。各種奏唱著“大數(shù)據(jù)”頌歌的產(chǎn)品數(shù)量正在迅速增長，大眾媒體也進(jìn)入了“大數(shù)據(jù)”主題的論辯中，比如紐約時報的“大數(shù)據(jù)的時代“，以及一系列在福布斯上發(fā)布的題為” 大數(shù)據(jù)技術(shù)評估檢查表“的文章。
進(jìn)步的一面體現(xiàn)在，大數(shù)據(jù)的概念正在促使內(nèi)部組織的文化發(fā)生轉(zhuǎn)變，對過時的“商務(wù)智能”形成挑戰(zhàn)，并促進(jìn)了“分析”意識的提升。
基于大數(shù)據(jù)的創(chuàng)新技術(shù)可以很容易地被應(yīng)用到類似數(shù)據(jù)分析的各種環(huán)境中。值得一提的是，企業(yè)組織通過應(yīng)用先進(jìn)的業(yè)務(wù)分析，業(yè)務(wù)將變得更廣泛、更復(fù)雜，價值也更高，而傳統(tǒng)的網(wǎng)站分析受到的關(guān)注將會有所減弱。
大數(shù)據(jù)的定義
什么是“大數(shù)據(jù)”，目前并沒有統(tǒng)一的定義。維基百科提供的定義有些拙劣，也不完整：“ 大數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過主流的工具，在合理的時間內(nèi)擷取、管理、處理、并整理成為人們所能解讀的信息 “。
IBM 提供了一個充分的簡單易懂的概述：
大數(shù)據(jù)有以下三個特點(diǎn)：大批量(Volume)、高速度(Velocity)和多樣化(Variety) 。 大批量 – 大數(shù)據(jù)體積龐大。企業(yè)里到處充斥著數(shù)據(jù)，信息動不動就達(dá)到了TB級，甚至是PB級。 高速度 – 大數(shù)據(jù)通常對時間敏感。為了最大限度地發(fā)揮其業(yè)務(wù)價值，大數(shù)據(jù)必須及時使用起來。 多樣化 – 大數(shù)據(jù)超越了結(jié)構(gòu)化數(shù)據(jù)，它包括所有種類的非結(jié)構(gòu)化數(shù)據(jù)，如文本、音頻、視頻、點(diǎn)擊流、日志文件等等都可以是大數(shù)據(jù)的組成部分。 MSDN的布萊恩·史密斯在IBM的基礎(chǔ)上增加了第四點(diǎn)： 變異性 – 數(shù)據(jù)可以使用不同的定義方式來進(jìn)行解釋。不同的問題需要不同的闡釋。
從技術(shù)角度看大數(shù)據(jù)
大數(shù)據(jù)包括了以下幾個方面：數(shù)據(jù)采集、存儲、搜索、共享、分析和可視化，而這些步驟在商務(wù)智能中也可以找到。在皮特·沃登的“ 大數(shù)據(jù)詞匯表 “中，囊括了60種創(chuàng)新技術(shù)，并提供了相關(guān)的大數(shù)據(jù)技術(shù)概念的簡要概述。
獲取 ：數(shù)據(jù)的獲取包括了各種數(shù)據(jù)源、內(nèi)部或外部的、結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)。“大多數(shù)公共數(shù)據(jù)源的結(jié)構(gòu)都不清晰，充滿了噪音，而且還很難獲得。” 技術(shù)： Google Refine、Needlebase、ScraperWiki、BloomReach 。
序列化 ：“你在努力把你的數(shù)據(jù)變成有用的東西，而這些數(shù)據(jù)會在不同的系統(tǒng)間傳遞，并可能存儲在不同節(jié)點(diǎn)的文件中。這些操作都需要某種序列化，因為數(shù)據(jù)處理的不同階段可能需要不同的語言和API。當(dāng)你在處理非常大量的記錄時，該如何表示和存儲數(shù)據(jù)，你所做的選擇對你的存儲要求和性能將產(chǎn)生巨大影響。 技術(shù)： JSON、BSON、Thrift、Avro、Google Protocol Buffers 。
存儲 ：“大規(guī)模的數(shù)據(jù)處理操作使用了全新的方式來訪問數(shù)據(jù)，而傳統(tǒng)的文件系統(tǒng)并不適用。它要求數(shù)據(jù)能即時大批量的讀取和寫入。效率優(yōu)先，而那些有助于組織信息的易于用戶使用的目錄功能可能就顯得沒那么重要。因為數(shù)據(jù)的規(guī)模巨大，這也意味著它需要被存儲在多臺分布式計算機(jī)上。“ 技術(shù)： Amazon S3、Hadoop分布式文件系統(tǒng) 。
服務(wù)器 ：“云”是一個非常模糊的術(shù)語，我們可能對它所表示的內(nèi)容并不很了解，但目前在計算資源的可用性方面已有了真正突破性的發(fā)展。以前我們都習(xí)慣于購買或長期租賃實(shí)體機(jī)器，而現(xiàn)在更常見的情況是直接租用正運(yùn)行著虛擬實(shí)例的計算機(jī)來作為服務(wù)器。這樣供應(yīng)商可以以較為經(jīng)濟(jì)的價格為用戶提供一些短期的靈活的機(jī)器租賃服務(wù)，這對于很多數(shù)據(jù)處理應(yīng)用程序來說這是再理想不過的事情。因為有了能夠快速啟動的大型集群，這樣使用非常小的預(yù)算處理非常大的數(shù)據(jù)問題就可能成為現(xiàn)實(shí)。“ 技術(shù)： Amazon EC2、Google App Engine、Amazon Elastic Beanstalk、Heroku 。
NoSQL ：在IT行為中，NoSQL(實(shí)際上意味著“不只是SQL”)是一類廣泛的數(shù)據(jù)庫管理系統(tǒng)，它與關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的傳統(tǒng)模型有著一些顯著不同，而最重要的是，它們并不使用SQL作為其主要的查詢語言。這些數(shù)據(jù)存儲可能并不需要固定的表格模式，通常不支持連接操作，也可能無法提供完整的ACID(原子性—Atomicity、一致性—Consistency、隔離性—Isolation、持久性—Durability)的保證，而且通常從水平方向擴(kuò)展(即通過添加新的服務(wù)器以分?jǐn)偣ぷ髁浚皇巧壃F(xiàn)有的服務(wù)器)。 技術(shù)： Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort 。
處理 ：“從數(shù)據(jù)的海洋中獲取你想要的簡潔而有價值的信息是一件挑戰(zhàn)性的事情，不過現(xiàn)在的數(shù)據(jù)系統(tǒng)已經(jīng)有了長足的進(jìn)步，這可以幫助你把數(shù)據(jù)集到轉(zhuǎn)變成為清晰而有意義的內(nèi)容。在數(shù)據(jù)處理的過程中你會遇上很多不同的障礙，你需要使用到的工具包括了快速統(tǒng)計分析系統(tǒng)以及一些支持性的助手程序。“ 技術(shù)： R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop 。 初創(chuàng)公司： Continuuity、Wibidata、Platfora 。
MapReduce ：“在傳統(tǒng)的關(guān)系數(shù)據(jù)庫的世界里，在信息被加載到存儲器后，所有的數(shù)據(jù)處理工作才能開始，使用的是一門專用的基于高度結(jié)構(gòu)化和優(yōu)化過的數(shù)據(jù)結(jié)構(gòu)的查詢語言。這種方法由Google首創(chuàng)，并已被許多網(wǎng)絡(luò)公司所采用，創(chuàng)建一個讀取和寫入任意文件格式的管道，中間的結(jié)果橫跨多臺計算機(jī)進(jìn)行計算，以文件的形式在不同的階段之間傳送。“ 技術(shù)： Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。
自然語言處理 ：“自然語言處理(NLP)……重點(diǎn)是利用好凌亂的、由人類創(chuàng)造的文本并提取有意義的信息。” 技術(shù)： 自然語言工具包Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais。
機(jī)器學(xué)習(xí) ：“機(jī)器學(xué)習(xí)系統(tǒng)根據(jù)數(shù)據(jù)作出自動化決策。系統(tǒng)利用訓(xùn)練的信息來處理后續(xù)的數(shù)據(jù)點(diǎn)，自動生成類似于推薦或分組的輸出結(jié)果。當(dāng)你想把一次性的數(shù)據(jù)分析轉(zhuǎn)化成生產(chǎn)服務(wù)的行為，而且這些行為在沒有監(jiān)督的情況下也能根據(jù)新的數(shù)據(jù)執(zhí)行類似的動作，這些系統(tǒng)就顯得特別有用。亞馬遜的產(chǎn)品推薦功能就是這其中最著名的一項技術(shù)應(yīng)用。“ 技術(shù)： WEKA、Mahout、scikits.learn、SkyTree 。
可視化 ：“要把數(shù)據(jù)的含義表達(dá)出來，一個最好的方法是從數(shù)據(jù)中提取出重要的組成部分，然后以圖形的方式呈現(xiàn)出來。這樣就可以讓大家快速探索其中的規(guī)律而不是僅僅籠統(tǒng)的展示原始數(shù)值，并以此簡潔地向最終用戶展示易于理解的結(jié)果。隨著Web技術(shù)的發(fā)展，靜態(tài)圖像甚至交互式對象都可以用于數(shù)據(jù)可視化的工作中，展示和探索之間的界限已經(jīng)模糊。“ 技術(shù)： GraphViz、Processing、Protovis、Google Fusion Tables、Tableau 。
大數(shù)據(jù)的挑戰(zhàn)
最近舉行的世界經(jīng)濟(jì)論壇也在討論大數(shù)據(jù)，會議確定了一些大數(shù)據(jù)應(yīng)用的機(jī)會，但在數(shù)據(jù)共用的道路上仍有兩個主要的問題和障礙。
1.隱私和安全
正如Craig & Ludloff在“隱私和大數(shù)據(jù)“的專題中所提到的，一個難以避免的危機(jī)正在形成，大數(shù)據(jù)將瓦解并沖擊著我們生活的很多方面，這些方面包括私隱權(quán)、政府或國際法規(guī)、隱私權(quán)的安全性和商業(yè)化、市場營銷和廣告……試想一下歐盟的cookie法規(guī)，或是這樣的一個簡單情景，一個公司可以輕易地在社交網(wǎng)絡(luò)上收集各種信息并建立完整的資料檔案，這其中包括了人們詳細(xì)的電子郵箱地址、姓名、地理位置、興趣等等。這真是一件嚇人的事情!
2.人力資本
麥肯錫全球研究所的報告顯示 ，美國的數(shù)據(jù)人才的缺口非常大，還將需要140,000到190,000個有著“深度分析”專業(yè)技能的工作人員和1.500個精通數(shù)據(jù)的經(jīng)理。尋找熟練的“網(wǎng)站分析”人力資源是一個挑戰(zhàn)，另外，要培養(yǎng)自己的真正擁有分析技能的人員，需要學(xué)習(xí)的內(nèi)容很多，這無疑是另一個大挑戰(zhàn)。
大數(shù)據(jù)的價值創(chuàng)造
很多大數(shù)據(jù)的內(nèi)容都提及了價值創(chuàng)造、競爭優(yōu)勢和生產(chǎn)率的提高。要利用大數(shù)據(jù)創(chuàng)造價值，主要有以下六種方式。
透明度 ：讓利益相關(guān)人員都可以及時快速訪問數(shù)據(jù)。實(shí)驗 ：啟用實(shí)驗以發(fā)現(xiàn)需求，展示不同的變體并提升效果。隨著越來越多的交易數(shù)據(jù)以數(shù)字形式存儲，企業(yè)可以收集更準(zhǔn)確、更詳細(xì)的績效數(shù)據(jù)。決策支持 ：使用自動化算法替換/支持人類決策，這可以改善決策，減少風(fēng)險，并發(fā)掘被隱藏的但有價值的見解。創(chuàng)新 ：大數(shù)據(jù)有助于企業(yè)創(chuàng)造出新的產(chǎn)品和服務(wù)，或提升現(xiàn)有的產(chǎn)品和服務(wù)，發(fā)明新的商業(yè)模式或完善原來的商業(yè)模式。細(xì)分 ：更精細(xì)的種群細(xì)分，可以帶來不同的自定義行為。
工業(yè)領(lǐng)域的增長 ：有了足夠的和經(jīng)過適當(dāng)培訓(xùn)的人力資源，那些重要的成果才會成為現(xiàn)實(shí)并產(chǎn)生價值。
數(shù)據(jù)分析的機(jī)會領(lǐng)域
當(dāng)“網(wǎng)站分析”發(fā)展到“數(shù)據(jù)智能“，毫無疑問，數(shù)據(jù)分析人員也工作也應(yīng)該發(fā)生一些轉(zhuǎn)變，過去的工作主要是以網(wǎng)站為中心并制定渠道的具體戰(zhàn)術(shù)，而在將來則需要負(fù)責(zé)更具戰(zhàn)略性的、面向業(yè)務(wù)和(大)數(shù)據(jù)專業(yè)知識的工作。
數(shù)據(jù)分析師的主要關(guān)注點(diǎn)不應(yīng)該是較低層的基礎(chǔ)設(shè)施和工具開發(fā)。以下幾點(diǎn)是數(shù)據(jù)分析的機(jī)會領(lǐng)域：
處理 ：掌握正確的工具以便可以在不同條件下(不同的數(shù)據(jù)集、不同的業(yè)務(wù)環(huán)境等)進(jìn)行高效的分析。目前網(wǎng)站分析專家們最常用的工具無疑是各類網(wǎng)站分析工具，大多數(shù)人并不熟悉商業(yè)智能和統(tǒng)計分析工具如Tableau、SAS、Cognos等的使用。擁有這些工具的專業(yè)技能將對數(shù)據(jù)分析人員的發(fā)展大有好處。
NLP：學(xué)習(xí)非結(jié)構(gòu)化數(shù)據(jù)分析的專業(yè)技能，比如社交媒體、呼叫中心日志和郵件的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)。從數(shù)據(jù)處理的角度來看，在這個行業(yè)中我們的目標(biāo)應(yīng)該是確定和掌握一些最合適的分析方法和工具，無論是社會化媒體情感分析還是一些更復(fù)雜的平臺。
可視化 ：掌握儀表板的展示技能，或者寬泛點(diǎn)來說，掌握數(shù)據(jù)可視化的技術(shù)是擺在數(shù)據(jù)分析師面前一個明顯的機(jī)會(注：不要把數(shù)據(jù)可視化與現(xiàn)在網(wǎng)絡(luò)營銷中常用的“信息圖”infographics相混淆)。
行動計劃
在大數(shù)時代，其中一個最大的挑戰(zhàn)將是滿足需求和技術(shù)資源的供給。當(dāng)前的“網(wǎng)站分析”的基礎(chǔ)普遍并不足夠成熟以支持真正的大數(shù)據(jù)的使用，填補(bǔ)技能差距，越來越多的“網(wǎng)站分析師”將成長為“數(shù)據(jù)分析師”。
京公網(wǎng)安備 11010502049343號