大部分專家都相信可以從巨量的數(shù)據(jù)中找到寶石和金子。英國牛津大學曾對全球各行業(yè)工作者做過一份調(diào)查問卷,2/3受訪者認為,使用數(shù)據(jù)和分析軟件可以使他們保持競爭優(yōu)勢。問題是,這些“金礦挖掘者”今天如何從如此巨大的數(shù)據(jù)山里挖到金子?
從3V到4V
等著要發(fā)掘的“金子”,指的是用于記錄、存儲和分析大量的數(shù)據(jù),以及以合適的形式顯示該結(jié)果的“大數(shù)據(jù)”新技術。現(xiàn)在最被人們廣泛討論的話題是用戶購物、搜索或網(wǎng)購的數(shù)據(jù),或利用全球金融和通信網(wǎng)絡而產(chǎn)生的數(shù)據(jù)。還有銀行、電信和保險業(yè)通過建立使用者信息與交易記錄的分析模型,來增加利潤和降低風險等等。大數(shù)據(jù)的時代,使我們能夠探索人類的行為,探索人類本身的奧秘,這在以前在很大程度上是不可能的。我們經(jīng)常使用的工具和終端,幫助我們獲得和體驗這方面的感受。
由于都想成為“掘金者”,從大數(shù)據(jù)挖掘價值,目前具有深入的分析、數(shù)學、統(tǒng)計、規(guī)劃技能的數(shù)據(jù)分析師正炙手可熱,已沒有足夠多的人才可滿足需求。美國大型銀行和聯(lián)邦機構(gòu)正在越來越多地聘請“首席數(shù)據(jù)官”(CDO)和數(shù)據(jù)分析師,以促進對于整個組織機構(gòu)中的所有功能數(shù)據(jù)的收集、分析、分發(fā)和應用的戰(zhàn)略思考。
大數(shù)據(jù)有所謂的3V特征:即“大量化”(Volume)、“多樣化”(Variety)和“快速化”(Velocity)。然而,光是大量的數(shù)據(jù)采集是不夠的,這些數(shù)據(jù)本身還需要有較高價值,即增加第四個V:Value(價值),成為4V。而經(jīng)過“大數(shù)據(jù)”技術的處理(數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)顯示等)之后更會產(chǎn)生較高的價值。
用智能數(shù)據(jù)建立智能系統(tǒng)
啤酒+尿布是值得挖掘的數(shù)據(jù);而從工業(yè)設施、建筑物、能源系統(tǒng)和醫(yī)院產(chǎn)生的比特和字節(jié),含金量更高,更值得挖掘,因為它們可以用于建立起智能系統(tǒng),這些比特和字節(jié)就是智能數(shù)據(jù)。我們來談談智能數(shù)據(jù)如何建立起一個智能系統(tǒng)。
終端通過連接、把它們管道化,對人們帶來了極大的便利,大大提高了生產(chǎn)率。但是這些還不夠,還需要體現(xiàn)“智能化”,實現(xiàn)智能系統(tǒng)。現(xiàn)在我們經(jīng)常在提到智能手機、智能電表、智能電網(wǎng)、智能家居、智慧城市等等,都是希望人們使用的設備和終端能夠根據(jù)人們的需要自動編程,實現(xiàn)自動化,盡量避免人工介入。
這樣一種“智能化”,需要具備兩個條件:首先是“管道化”(互聯(lián)網(wǎng)思維的核心是“管道化思維”),就是把所有的終端或節(jié)點全部連接起來,互相之間能夠有“溝通”(即發(fā)生交互作用);另一個是各個終端本身具備一個“小電腦”,即帶有處理器芯片,可以通過軟件處理和產(chǎn)生“智能數(shù)據(jù)”。有了這兩個基本條件,就可以體現(xiàn)出一定程度的智能。
以抽水馬桶為例。抽水馬桶是已經(jīng)管道化的馬桶,再加上上述第二個條件,就可以變成一個“智能馬桶”。具體可以這樣來實施:在馬桶里裝有一片微處理器芯片和一片生化芯片(Lab-on-Chip,LOC),對人們的排泄物自動提取和分析,然后把分析結(jié)果通過管道,如WiFi送到醫(yī)生那里,醫(yī)生把每天的分析數(shù)據(jù)與事先存儲的數(shù)據(jù)進行對比,給這位坐過這個馬桶的人發(fā)出營養(yǎng)指標提醒和生理指標提醒,如果必要的話則寫處方,提醒他服用藥物或到醫(yī)院進一步檢查。另一方面,根據(jù)這個馬桶的軟件分析結(jié)果,會得出缺少哪種營養(yǎng)的具體數(shù)據(jù),然后通過無線通信的管道傳送到超市,超市會根據(jù)這些數(shù)據(jù)選出合適的食品通過快遞服務送達家中。
抽水馬桶還可以包含其他各種傳感器進行“管道連接”,如每次使用自動記錄用水量;如有漏水,自動通知維修人員或物業(yè)管理處派人來檢修;如有堵塞,就會自動通知管道維修人員來疏通;如水漕不進水,也會自動通知相關人員來處理等等,這些都會產(chǎn)生一定的數(shù)據(jù)量。
我們必須了解這些智能數(shù)據(jù)的量,以便正確地評估它;我們必須知道各種器件和設施是如何工作的,了解我們需要哪些傳感器和測量技術來獲得真正重要的智能數(shù)據(jù)。決定性的因素不一定是數(shù)據(jù)量大,而是有價值的內(nèi)容。
這樣的智能數(shù)據(jù)可以體現(xiàn)在各個領域。如對于一個大型燃氣輪機,有幾百個傳感器每秒鐘在測量溫度、壓力、流量、氣體組成。如果人們很了解設施的物理特性,因此知道如何正確地分析這些數(shù)據(jù),就可以給發(fā)電廠非常有用的建議,來提高電力的使用效率并減少污染。同樣的措施可以用于風力發(fā)電、建筑物、鋼鐵廠和整個城市。所有這些領域里,必須不僅收集數(shù)據(jù),而且還理解數(shù)據(jù)。處理的數(shù)據(jù)是智能數(shù)據(jù),得出的結(jié)論用于將企業(yè)或城市變得更智能。
適合于評估這些智能數(shù)據(jù)的算法還需要開發(fā)。這些算法可以幫助人們更好地節(jié)省能源、更好地有利于環(huán)境、更多地節(jié)省成本,以及使設備運行得更可靠。
在未來,智能數(shù)據(jù)可以幫助我們了解一個智能系統(tǒng)每時每刻發(fā)生了什么,更能夠告訴我們?yōu)槭裁磿l(fā)生。甚至還可以告訴我們接下來會發(fā)生什么,以及我們應該如何應對。智能數(shù)據(jù)將改變企業(yè)的商業(yè)模式。例如一家跨國公司可以設立一個全球維修中心,全球各個分部的工廠都設有大量傳感器并與網(wǎng)絡相連,只需要在這個中心分析大量的遠程智能數(shù)據(jù),就可以進行遠程診斷和處理,而不需要技術人員到現(xiàn)場。這樣的商業(yè)模式,對于火車、船舶、發(fā)電廠、醫(yī)療器械等等都是極其有用的。例如,從一輛火車的運行中得到的測量數(shù)據(jù),可以幫助火車駕駛者運行的更平穩(wěn)、更節(jié)能。節(jié)省下來的資金,則可以在用戶和智能數(shù)據(jù)提供者兩者分成。這是雙贏的局面,也是如何從數(shù)據(jù)山中掘金的一個很好例子。
大數(shù)據(jù)如何成為“智能數(shù)據(jù)”
數(shù)據(jù)只是“大”,并沒有太大意義,關鍵是如何最佳地挖掘高價值的數(shù)據(jù)、使用這些數(shù)據(jù),使這些數(shù)據(jù)成為“智能數(shù)據(jù)”。這有幾個方法:先評估數(shù)據(jù)的價值和將會產(chǎn)生的價值;把數(shù)據(jù)和“智能化”相關聯(lián);把數(shù)據(jù)變成具有上下文意義的靈活的數(shù)據(jù)結(jié)構(gòu);隨著時間的推移,根據(jù)這些收集了的大量數(shù)據(jù),展現(xiàn)一幅絢麗多彩的智能數(shù)據(jù)圖。到最后,也不會再去思考大數(shù)據(jù)與智能數(shù)據(jù)有何區(qū)別,因為所有的數(shù)據(jù)都已經(jīng)成為智能數(shù)據(jù)。
西方2000多年前就已發(fā)明的“管道化”的馬桶開了物聯(lián)網(wǎng)的先河。基于互聯(lián)網(wǎng)的物聯(lián)網(wǎng)(IoT)的到來,預示了新的創(chuàng)新設備、新的網(wǎng)絡形態(tài)、新的商業(yè)模式的不斷涌現(xiàn),也預示著智能數(shù)據(jù)的成千上百倍增長,智能化將體現(xiàn)在各種應用中。如按照今天所理解的大數(shù)據(jù)概念,是不充分的,大數(shù)據(jù)必須從3V演變?yōu)?V,大數(shù)據(jù)必須演變成智能數(shù)據(jù),整個家庭乃至整個城市也正在向“智能化”大步演進,才會有更多的“掘金”機會。