當大家還沒搞清楚PC時代的時候,互聯網來了;還沒搞清楚互聯網的時候,移動互聯網來了;還沒搞清移動互聯網的時候,大數據時代來了。在大數據時代,三分技術,七分數據,得數據者得天下的新經濟模式逐漸凸顯。
數據服務產業崛起
大數據是傳統統計行業與互聯網精神相結合的新領域,通過電子信息化大大降低了傳統統計成本。經過多年的發展,由少量經典案例到廣泛數據應用,新確定的第三數據服務產業地位漸漸清晰。
權威機構預測,2014年全球大數據技術服務支出將超過140億美元,2018年市場年均復合增長率將達26%,支出增至460億美元。在第十二屆全國人民代表大會第二次會議上,國務院總理李克強作政府工作報告時指出:加快產業結構調整。鼓勵發展服務業,支持戰略性新興產業發展。設立新興產業創業創新平臺,在新一代移動通信、大數據等方面趕超先進,引領未來產業發展??梢灶A見,數據服務將加快走向普及。
我們可以將數據服務的普及分為以下幾個階段。
第一個階段是由國家行政電子信息化需求推動的人口普查、社會保障、政策執行的雛形階段;第二個階段是以科技為導向的航天、冷戰、反恐、醫療的成型階段;第三個階段是由互聯網爆炸式的網絡消費類型的社交數據、電商數據為主導的成熟階段;最后是我們可預見的互聯網金融、物聯網等跨多行業的新型領域產業化的全面普及階段。
數據服務的普及需要一條成熟的大數據產業鏈給予支撐。大數據產業鏈就是在一次次從生產、科研、政策、公共、工業等各個領域產生的經典案例中不斷成長起來的。
這里有三個非常典型的例子。例如,麻省理工學院利用手機定位數據和交通數據建立城市規劃;又如,Tesco PLC(特易購)利用大數據提高運營效率,這家連鎖超市在其數據倉庫中收集了700萬臺冰箱的數據,通過對這些數據的分析,進行更全面的監控并進行主動的維修以降低整體能耗;還有統計學家內特·西爾弗(Nate Silver)利用大數據預測2012美國選舉結果的例子。
大數據產業鏈逐漸走向成熟,如果要用一句話來描述整個大數據產業鏈的話,那就是“從各種各樣類型的數據中,快速獲得有價值的信息”。這句話很清晰地為我們展現了大數據產業鏈的重要作用。產業鏈的主要成員包括:數據提供商、匯集/存儲提供商、計算能力提供商、統計分析服務提供商。
在當前新的經濟模式下,通過一些先行企業和機構的探索、實踐,我們可以看到 “數據”作為一種資源在產業化過程中從生成、采集、傳輸、質量化、挖掘,最后形成“數據服務”對其他行業進行價值輸出。
大數據關鍵技術門檻降低
近年來,大數據領域的生產分工逐漸明確,進入了較為成熟的階段,大數據關鍵技術也隨著產業鏈的不斷發展而逐漸成熟。
大數據的關鍵技術主要包括以下三個方面。
大數據匯集技術。大數據具有規模性、高效性、多樣性等本質特征,這就決定了數據匯集過程會非常復雜,如何匯集大數據成為重點也是難點擺在了人們面前。
大數據云計算平臺技術。由規模數據處理驅動的分布式模型,位于其中的抽象的、虛擬的、動態可擴展的、可管理的計算平臺是大數據服務由量變引起質變,到形成第三產業的關鍵技術,它是推出全民可用的“大數據服務”的基礎。
大數據挖掘技術。創新的大數據挖掘技術能滿足各種海量復雜數據分析的需要。
在“大數據匯集”和“大數據云計算平臺”領域,隨著hadoop等優秀的開源框架的興起,技術門檻正在逐漸降低,由產業發展前期的技術市場轉向資源、服務市場。在“大數據挖掘”關鍵技術領域,需要用到傳統統計中多年積累下來的行業特征分類資源、匯集傳輸帶寬資源和IDC數據中心來共同支撐大數據服務。
電信運營商面臨機遇和挑戰
大數據時代帶來了全新的經濟模式。有報道稱現在每兩天產生的信息等同于人類從有文明開始到2003年之間產生的所有信息。到2020年,全球數據量將達到35ZB,是2009年的40倍。
就當前大數據的發展趨勢來看,正由“關系型數據”向“關聯型數據”快速前行,產業的最佳實踐和案例都向人們說明,價值從關聯之前的各個“數據孤島”變為讓數據價值以乘積的方式釋放出來。
作為大數據傳輸通路的擁有者,電信運營商在數據匯集層上具有天然的資源優勢,進行了大數據產業鏈的第一次聚焦。電信運營商如果能通過技術,很好地實現管道中多元數據的關聯計算,將會成為未來大數據時代中最大的贏家。
毫無疑問,大數據給電信運營商帶來了新的機遇。一方面體現在數據量的增長對網絡、平臺等設施提出了新的需求,給運營商帶來了新的發展機遇;另一方面,運營商還可以在做好自身數據挖掘和應用的基礎上,為中小企業提供相應的數據挖掘技術或平臺服務。
大數據同時也將帶來挑戰。對于運營商而言,數據整合就是一個不小的挑戰。目前電信運營商的IT系統還不是非常完整和聯系緊密的系統,因此系統中的很多數據都具有地域性,如何將這些數據進行有效的分析和整合是亟待解決的問題。
中國電信已經在大數據領域展開了諸多實踐。從2009年中國電信成立八大基地開始,大數據的概念就已經運用在公司的運營之中。借助大數據技術,中國電信通過對傳統網絡上的數據進行分析和對比,不僅可以使得銷售策略更加精準,并且還能為網絡優化的策略制定和實施提供支撐。
在今天這個大數據蓬勃發展的時代,電信運營商應該用更加寬廣的視角看待市場和開拓業務,不應該僅僅盯著傳統的電信網絡,而應該嘗試為用戶提供更多形態的業務和服務,同時也要用更加市場化的手段整合內部資源。
機遇與挑戰并存。電信運營商應該與大數據產業鏈各方積極合作、尋求共贏,共同推動大數據匯集、大數據云計算平臺和大數據挖掘等關鍵技術的發展,只有這樣才能占領大數據產業鏈的價值高地,引領新興領域產業化的前行。
大數據百科
大數據與隱私保護
科學技術是一把雙刃劍。大數據所引發的安全問題與其帶來的價值同樣引人注目,大量事實表明,大數據未能得到妥善處理會對用戶的隱私造成極大的侵害。
通常人們認為能夠自主決定是否、如何以及經由誰來處理他們的信息。但在大數據時代,數據的價值很大一部分體現在對個人綜合數據的整合、分析和利用上,而收集數據時并未作這種考慮,因此用戶在透露個人信息的時候其實無法確定自己隱私信息將來的用途。
在大數據時代,人們面臨的威脅并不僅限于個人隱私泄漏,還在于基于大數據對人們狀態和行為的預測。一個典型的例子是某醫療器械商通過某個用戶的上網歷史記錄分析,判斷這位用戶可能患上了艾滋病并向其郵寄相關廣告信息,而該用戶身邊最親近的人對此全然不知。商家通過收集分析用戶的網購記錄、社交網絡聊天記錄等在網絡上留下的各類信息,可以了解用戶的政治傾向、消費習慣、個人喜好、性格、身體狀況、家庭成員和個人喜好等,這對個人來說是多么可怕的事情!此外,像美國這樣的高科技國家,通過收集、整合幾個跨國互聯網公司的數據,就可以對世界上大多數的人口進行監控。而日前爆發的“棱鏡門”事件更加劇了人們對大數據安全的擔憂。
針對大數據可能帶來的隱私侵犯,國家立法保護是非常關鍵的。這里面尤其要對數據的最終使用者進行嚴格約束,控制商業機構為逐利而對用戶數據的濫用。此外,還需要研究大數據隱私保護技術,如網絡數據匿名保護技術、數據水印技術等,保障用戶數據的安全。