5月17日,IBM正式發布IBM智慧的分析洞察戰略,從此,IBM完善了從理論、平臺到行業實踐的大數據戰略全面部署。
7月24日,“芯動大數據智領大機遇”英特爾大數據論壇召開,英特爾Hadoop發行版首次亮相。
12月4日,IBM在中國市場正式發布針對大數據處理的專家集成系統——PureData。PureData具有數據處理速度、簡化程度和成本控制等優勢。
12月13日是首個“中關村大數據日”,中關村成立大數據產業聯盟,通過以大數據為主題的各項活動搶抓大數據發展機遇,著手布局大數據產業。
一個具有犯罪前科的可疑分子正行駛在高架橋上,警察已經通過紅綠燈、攝像頭等采集到他的面部信息了,關聯的數據庫馬上就會顯示該可疑分子的資料。同時,該系統還會自動提示平時犯罪高發的時間和地點、現實區域犯罪的幾率,并預測該可疑分子可能作案的時間和地點。于是,警方利用數據庫和高速處理平臺,及時采取措施、部署行動、調配警力,及時防止了犯罪案件的發生。
這是真實發生在美國孟菲斯警察局的一個案例。在這個案例中,對于犯罪分子面部數據的收集,以及對犯罪行為數據的分析和預測,正是大數據應用之一。
另一個典型的案例是,2012年成功獲得連任的美國總統奧巴馬背后,有一個幾十人數據分析與挖掘團隊,幫助其在獲取有效選民、投放廣告、募集資金方面發揮作用。
實際上,很多看上去與上述案例并無關聯但實質上如出一轍的事情,就在我們身邊時刻發生著。當你用手機掃描二維碼,并將其用微博轉發的時候,你的消費習慣、偏好,甚至你的社交圈子的信息,已經被商家的大數據分析工具所捕獲,隨后,他們需要做的,就是利用大數據對你的習慣和需要進行精準的分析、挖掘、展現和預測,向你提供進一步的信息和服務。
在寬帶化、移動互聯網、物聯網、社交網絡、云計算的催生下,大數據時代翩然而至。大數據,正在悄悄地走進我們的生活,并改變著我們的未來。
一個“數據鉆出石油”的時代
當你用一分鐘,看完這行文字的時候:新浪已經發送了2萬條微博,蘋果已經下載了4.7萬次應用,淘寶已經賣出了6萬件商品,人人網發生了30萬次訪問,百度產生了90萬次搜索查詢。
2010年印刷版《大英百科全書》,32冊,重達58.5公斤。然而,它的全部內容,還裝不滿一個4G的U盤。有鑒于此,《大英百科全書》出版社2012年3月對外宣布,不再推出印刷版,內容全面數字化。
海量數據已經成為今天人類生存環境的突出特點。根據IDC(國際數據公司)的統計,2011年全球數據總量已經達到1.8ZB(1ZB等于1萬億GB,1.8ZB也就相當于18億個1TB的移動硬盤),而這個數值還在以每兩年翻一番的速度增長,預計到2020年全球將總共擁有35ZB的數據量,增長近20倍。
“大數據已經滲入到了生活的方方面面,從房地產到商務,從產品到品牌,都已經和大數據緊密聯系在一起。”中國傳媒大學調查統計研究所所長沈浩教授表示。
通俗地講,大數據就是對網上海量的文本、圖像、音頻和視頻數據進行采集、分析、加工和利用。
工信部軟件服務業司司長陳偉認為,由于大量有用和可能沒用的數據并存,“遍地是金子,又遍地是沙子”,所以大數據的目的就在于從龐大的數據集合中找尋有價值的數據和知識,通過分析挖掘為各行業提供真正的智慧,“可以說21世紀是‘數據鉆出石油’的時代”。
IBM大數據專家肖冰認為,大數據中蘊含著巨大的商業價值。在這樣龐大的非結構化數據背后,如何利用大數據技術,從海量堆積的交互數據當中發現帶有趨勢性、前瞻性的訊息,就能夠發現并產生巨大的社會價值和商業價值。
大數據悄然改變生活
其實,大數據已經開始悄然改變著我們的生活。
網絡購物正在成為消費者喜愛的購物方式,2012年的“雙十一”大戰,令眾多網友沉迷于網購中不能自拔。或許你不知道,其實,依靠大數據分析預測能力,一些精明的零售商正在從目標客戶更加個性化和直接的層面上,特別是在重要的節日需求上,收集和挖掘消費大數據。
大數據可以處理一個龐大的范圍內的廣泛活動,包括有效的營銷活動,就可以針對顧客在網上的購買行為,投其喜好進行銷售與推廣,實現社交電子商務和庫存優化。
例如,大數據分析軟件有可能使零售商進行直接相關的促銷和營銷活動,激勵消費者網購,并跟蹤由此產生的銷售交易。而同時,大數據作為一個結果,零售商可以監視和實時的調整促銷活動,最大限度地提高消費,提高盈利能力,在關鍵時期短時間產生最大收益。
“以往決策更多采用基于調查基礎上的經驗性決策,而借助大數據分析則能夠對于對象進行數量化的分析從而使決策更為科學。”中國電子信息產業發展研究院分析師韓耀強表示,目前淘寶就已經建立了云計算中心,利用大數據可以更好的處理消費者的消費習慣、隨季節的變化等,從而更精準的制定自己的營銷策略、庫存調配等,從而使決策更加理性化。
Trident Marketing是一家直復營銷企業,其客戶包括DIRECTV等品牌。通過IBM大數據分析軟件幫助,他們甚至可以預計客戶最佳聯系時間以及客戶是否會取消服務。其營收在短短4年增長了10倍,產品部署后頭兩個月銷售額增長10%,而且其客戶流失率降低了50%。
大數據還可以當醫生!曾經參加美國智力游戲Jeopardy!(危險邊緣)的IBM超級計算機Watson已經可以用來協助醫生聽診。目前,有些美國的醫療機構為了避免醫生的疏失,開始與IBM合作,現在Watson會陪同醫生聽診,聽診完它會透過病征列出可能患的疾病是哪些,醫生可能問診完想到的病征可能只有三五個,可是Watson會跟從海量數據分析的角度幫他列出高達20個病征選項,這大大的可以減少醫生疏忽的機會,醫生看了Watson的分析報告以后就可知道,可以再多問病人什么問題來縮小看診判斷誤差。
大數據將使商業維護更加便捷。肖冰以某金融企業為例告訴我們,以往的分立的、傳統的數據處理的方式,每天的維護人員需要24小時3班倒,現在上線了PureData之后,則只需要6個人就足夠了,會帶來更大的便捷、降低更大的成本從而提升競爭力。
談到大數據可能對生活帶來的變革,韓耀強說:“大數據會從個人、社會生活、商業、法律、道德等多個方面對整個社會產生全方位的、深刻的影響,此外還有更多變化我們是無法預測的,但毫無疑問,大數據對于生活的劇變性影響已經是不可抗拒的事實。”
掘金大數據
2012年,大數據是云計算之后最熱的概念、最大的商機。包括IBM、微軟、谷歌、亞馬遜在內的一大批知名企業紛紛掘金這一市場。以至于紐約時報等媒體均宣稱大數據時代已經來臨。
肖冰表示:“目前大數據處理的應用,主要分為三個層面:一是遠程數據處理,一是數據倉庫引擎進行處理,還有一個方面是挖掘、預測和展現數據的展現。”
我國政府也已經加大了大數據的推廣力度。2012年9月26日,投資約5億元的全國人口信息處理與備份(西安)中心落戶西咸信息產業園。園區建設成為國家級數據中心和信息服務產業基地,使西咸大數據處理與服務產業園成為中國最大的信息資源聚集區。
韓耀強透露:“很多地方的政府已經有了關于大數據發展的政策規劃,盡管明文政策還沒有出臺,但在各地的云計算基地建立的基礎上,大數據的推廣應用將充分挖掘云計算的產業潛力和推動云計算的創新動力。”
面對海量數據的到來,傳統的計算法則已經不再適用。以IBM在2012年12月份發布的針對大數據處理的專家集成系統PureData為例,“相對于分立的、傳統的數據處理的方式,我們的處理性能在速度上要快100倍以上,將復雜的分析操作時長從數小時降至數分鐘,并且能夠實現在單個系統上管理超過100個數據庫。”肖冰表示。
據了解,目前,美國醫療服務機構的聯盟Premier Healthcare Alliance正在利用PureData系統幫助2700家醫院和9萬家其它醫療機構提高醫療服務質量、改善財務狀況。其采用PureData系統來管理和分析美國最大的診所事務、財務和診斷結果數據庫。該數據庫存儲著四分之一的病人出院信息、每天250萬筆診所實時交易以及關于每年430億美元的醫療采購的信息。
大數據發展任重道遠
毋庸置疑,大數據能夠帶來大量的經濟價值和利益,但它也是一把雙刃劍。“無論對于企業還是個人而言,對于大數據的使用,利用得當會給我們的生活帶來巨大的便捷,而利用不當則也可能成為一種大的危機,也有可能是帶來一種大的淘汰。”肖冰談到大數據未來發展時表示。
被企業大量收集的數據,帶來了在數據處理、使用、保管和安全等方面的新挑戰,對于消費者的個人隱私和安全形成威脅。“在大數據時代,安全問題會比互聯網時代更加突出。”韓耀強說,這也會催生一些新的有關于數據安全方面的產業。
大數據發展面臨的挑戰之一是數據的標準化問題。據肖冰介紹,海量的數據的形態非常多樣,“目前有80%以上的數據,是以非結構化的形式而存在的。以往的技術在處理規范和結構化數據方面具備優勢。但在處理視頻、語音等非文字形式呈現的非結構化的數據挖掘、專題分析與預測等方面則更加具備優勢。在移動互聯時代,更多的數據以非結構化的形式出現,傳統的數據處理方式面臨革新。”
非標準化的數據處理的難度非常大,而又有很多數據難以進行標準化。“通過政策引導,打破數據的條塊化特征,從而使數據更標準、更易于處理,是重點需要突破的領域。”韓耀強強調。
大數據發展面臨的挑戰還在于并沒有真正在應用層面上下功夫,“如何真正利用大數據提升企業的價值,是需要著力突破的方向。”肖冰回顧大數據的發展時說道。
“100年前的醫生可以了解醫學的所有分支,可是今天一名醫生面對的是大約10000種疾病綜合征、3000種藥品、1100種檢驗方法的海量知識。”國家信息化專家咨詢委員會副主任、中國工程院院士鄔賀銓認為,大數據產業需要從業人員既懂數據分析工具,又懂行業分析,而這樣的創新人才是奇缺的,“同時在大數據挖掘開發利用和安全以及隱私保護方面,我國還缺乏相應法律保障,需要通過機制創新來推動數據共享的實現。”
“大數據將來會如何發展,并非決定于我們對大數據的認識,而關鍵是看社會會怎么發展。因此,基于關系視角的研究,大數據一定是會大有作為的。”沈浩表示。