叮叮噹、叮叮噹......,2014 即將步入尾聲,回顧這一年的大數(shù)據(jù)相關(guān)發(fā)展,我們可以這樣總結(jié):「在跨行業(yè)的水底持續(xù)積蓄能量,在特定的洲際大樓上空爆出更多火花」。大數(shù)據(jù),不只是顯學(xué),它現(xiàn)在已經(jīng)是企業(yè)的必要學(xué)。在提出 2015 臺灣大數(shù)據(jù)市場五大趨勢預(yù)測之前,筆者就先藉投入這個市場的幾點經(jīng)驗與感想總結(jié),來做為開場。
數(shù)據(jù)是21世紀的石油?
在 2010~2013 時談?wù)摯髷?shù)據(jù),很多人喜歡用「數(shù)據(jù)是 21 世紀的石油」來做比喻,但這種類比其實只對了一半。從精鍊產(chǎn)生價值,這部份沒有問題;但從數(shù)據(jù)的耗損與生成來看,卻完全無法比擬:
石油是「用后即逝」的實體資源,但資料是「用后不滅」,越用累積的價值越高;石油生成的速度很慢 (植物殘骸轉(zhuǎn)化為石油須歷經(jīng)一百萬年以上),而根據(jù) IDC 的推估,全世界的數(shù)據(jù),每二年就會增加一倍。
到了 2014,臺灣已經(jīng)走過 大數(shù)據(jù) 的通識教育階段,但在本質(zhì)的思考上,利益相關(guān)者,不妨可以再行深思遠。
2015 年臺灣大數(shù)據(jù) 市場五大趨勢預(yù)測
以下就是筆者提出的 2015 年臺灣大數(shù)據(jù)市場五大趨勢預(yù)測:
客戶洞察成為所有 B2C 商業(yè)的顯學(xué),社群媒體分析是 360° 單一顧客樣貌的新增要素;
In-memory 分散式運算開源軟體日益成熟,企業(yè)的近即時巨量數(shù)據(jù)應(yīng)用 (Near Real-time Big Data Application) 成本降低,大大增加「快速偵知與快速反應(yīng)」實現(xiàn)的可能;
物聯(lián)網(wǎng) (IoT) 與巨量數(shù)據(jù)分析 (BDA) 結(jié)合,成就應(yīng)用的區(qū)隔化與細緻化;
數(shù)據(jù)產(chǎn)品 (Data Product) 云服務(wù)化,讓中小企業(yè)有機會參與巨量資料的價值應(yīng)用;
大數(shù)據(jù)分析人才需求持續(xù)增長,但唯有能結(jié)合領(lǐng)域知識者,才能成為箇中翹楚。
各項預(yù)測說明如下:
1. 客戶洞察成為所有 B2C 商業(yè)的顯學(xué),社群媒體分析是 360° 單一顧客樣貌的新增要素從電信、零售、金融、品牌、到各種線上服務(wù),Single Customer View (單一顧客樣貌) 在廣大的 B2C 領(lǐng)域,已經(jīng)成為 Marketer 與 Business Analyst 亟欲實現(xiàn)的任務(wù)。從實務(wù)上來說,要做到的是視野的擴大,典型的作法是:取企業(yè)塬本就有的 CRM大數(shù)據(jù) (User Profile + Transaction Data + Customer Service Data),加上客戶的線上行為資料 (看什么、點什么、搜什么、買什么、評論什么、分享什么......),再加上來自社群媒體的大數(shù)據(jù) (貼文、貼圖、按讚、分享、回覆、打卡、圖譜......),形成針對分群或個別客戶的全方位洞察。企業(yè)要料理與分析線上行為與社群媒體的資料,顯然需要累積更多經(jīng)驗,也需要新的工具與服務(wù)。
經(jīng)過前兩年的市場教育與諸多的 PoC 驗證,隨著成功案例一一出現(xiàn),2015 將是這類應(yīng)用市場起飛的一年。
2. In-memory 分散式運算開源軟體日益成熟,企業(yè)的近即時巨量資料應(yīng)用 (Near Real-time Big Data Application) 成本降低,大大增加「快速偵知與快速反應(yīng)」實現(xiàn)的可能
筆者在上一篇部落文《Strata+Hadoop World 2014 New York 觀察》就提到 Big Data 處理與分析及時性的躍進,從 Hr (Batch) -> Sec (Near Real-time) -> Millisec (Real-time)。欲獲其利者,Hadoop Ecosystem 中的 Impala、Storm、Spark,絕對是重中之重,應(yīng)用場域含括多結(jié)構(gòu)化資料倉儲互動查詢、CEP (Complex Event Processing) 資料串流處理、SQL-like 查詢、統(tǒng)計與機器學(xué)習(xí)上。開源軟體 + 門檻降低 + 成功案例 + 社群推波 = 大量嘗試近即時應(yīng)用的 2015 年
3. 物聯(lián)網(wǎng) (IoT) 與巨量數(shù)據(jù)分析 (BDA) 結(jié)合,成就應(yīng)用的區(qū)隔化與細緻化
從 Internet of People 到 Internet of Things,再到 Internet of Everything,筆者在《拆解 IoT 與 IoE,其實他們說的是 Internet of Data ── 聯(lián)網(wǎng)皆資料》這篇文章中已經(jīng)點出,歸結(jié)到最后,其實大家說的是:Internet of Data (聯(lián)網(wǎng)皆數(shù)據(jù))。IoT 跟 Big Data 一樣,若沒有特定的應(yīng)用場域,充其量也就是一些架構(gòu)圖與流程圖罷了。而 Smart City、Smart Factory、Smart Building、Smart Home,若沒有指出 Use Case,也只是諸多應(yīng)用的集合概念,并沒有可落地實踐的標的。2015 年,IoT 議題還是會持續(xù)在臺灣的產(chǎn)官學(xué)研中延燒,所以當務(wù)之急,是明確指出應(yīng)用場域中特定的 Use Case,探討它的價值、使用的對象、該建構(gòu)哪些前端裝置、后端系統(tǒng)、網(wǎng)路設(shè)備。在產(chǎn)品或服務(wù)規(guī)劃的過程中,產(chǎn)品經(jīng)理會深刻明瞭一件事:基于聯(lián)網(wǎng)資料分析后的行動,將會是在市場上進行差異化競爭的關(guān)鍵。
4. 資料產(chǎn)品 (Data Product) 云服務(wù)化,讓中小企業(yè)有機會參與巨量資料的價值應(yīng)用
我們發(fā)覺,在許多 Big Data 的應(yīng)用上,中小企業(yè)很難參與的主要塬因是:建置成本太高。究其塬因,可能是在生、流、存、算、用、看系列過程中,任一環(huán)節(jié)或多環(huán)節(jié)的軟硬體建置、技術(shù)能量或作業(yè)需求成本居高不下堆疊起來的。編列上百萬、乃至千萬的 Big Data 解決方案預(yù)算,對大型企業(yè)來說,也許是正常事,但對大部分中小企業(yè)來說,是無法接受的事。解決之道,是利用云服務(wù)的商業(yè)模式,由一個單位來負責服務(wù)的建置與營運,以負擔得起的價格,依用量或月費,吸引中小企業(yè)的使用。但云服務(wù)業(yè)者的挑戰(zhàn)將是:如何彰顯使用效益?
歷經(jīng)前面幾年的 On-premises 市場發(fā)展,將解決方案轉(zhuǎn)變成云服務(wù)資料產(chǎn)品,將是 2015 年一些 Big Data Solution Provider 前進的道路。
5. 大數(shù)據(jù)分析人才需求持續(xù)增長,但唯有能結(jié)合領(lǐng)域知識者,才能成為箇中翹楚
如上圖所示,數(shù)據(jù)價值的載體是數(shù)據(jù)產(chǎn)品 (Data Product),而數(shù)據(jù)擁有者 (Data Owner)、數(shù)據(jù)科學(xué)團隊 (Data Science Team)、與領(lǐng)域?qū)<?(Domain Expert),則是打造資料產(chǎn)品的鐵叁角,缺一不可。資料科學(xué)團隊裡至少會有處理者、分析者、策略者,筆者曾在《資料價值還缺一味,數(shù)據(jù)科學(xué)團隊還缺一位》中提到:「當涉及數(shù)據(jù)分析,但卻缺乏領(lǐng)域經(jīng)驗或知識來添味,往往數(shù)字只是數(shù)字、圖表只是圖表,探索無方,洞見難生」、「數(shù)據(jù)價值的提取,如果能夠有一位領(lǐng)域?qū)<译S侍在側(cè),即問即答,必然可使如瞎子摸象的外行臆測行為降低,讓潛規(guī)則浮露,真實涌現(xiàn)」。「能不能介紹資料分析師給我?」這是客戶常常對我們說的話。2015 年有計畫要組織資料科學(xué)團隊的企業(yè)還會持續(xù)增加,其中又以具備 Big Data 經(jīng)驗的資料分析師缺得最厲害。一位懂分析又具備領(lǐng)域知識者,將是難能可貴的人才,搶手自不在話下。
以上就是筆者對 2015 臺灣 Big Data 市場的五大趨勢預(yù)測說明。如果您有不同的看法,歡迎來信交流:fredchiang [at] gmail.com 。感謝收看。老話一句:我們明年再來。