大數據是個熱門話題。在最近的Enterprise 2.0大會上,我參加了社會媒體大數據分析的討論會。Computerworld援引IDC的研究報告稱未來十年全球大數據將增加50倍。他們稱,僅在 2011年,我們就將看到1.8ZB(也就是1.8萬億GB)的大數據創建產生。這相當于每位美國人每分鐘寫3條Tweet,而且還是不停地寫 2.6976萬年。在未來十年,管理數據倉庫的服務器的數量將增加10倍以便迎合50倍的大數據增長。該報告補充道IT經理們將可能煩惱于如何尋找足夠的擁有必要技能和經驗的人才來管理這樣的數據。第五年度的IDC Digital Universe研究報告討論了所有這些問題。
大數據快速增長的部分原因歸功于智能設備的普及,比如服裝傳感器和醫療設備,以及智能建筑,比如大樓和橋梁。此外,非結構化信息——比如文件、電子郵件和視頻——將占到未來10年新生數據的90%。非結構化信息的增長部分應歸功于高寬帶數據的增長,比如視頻。
也有一些好消息,比如新硬件和新軟件將信息創建、搜尋、管理和存儲的成本降低到了相當于2005年時候六分之一的水平。這可以解釋為什么數據增長50倍的時候,服務器只需要增長10倍。2005年以后,相關成本也在降低,因為企業在硬件、軟件、云服務以及信息管理人力上的投資只增長50%至4萬億美元。
云推動了成本的降低,未來還將發揮更大的作用。目前為止,云計算只占到所有IT支出的2%。不過,IDC表示,到2015年,接近20%的信息將以某種方式利用云服務,將有10%的信息將存放在云架構上。
根據IDC存儲與半導體研究副總裁David Reinsel的說法,下一步就是讓企事業單位通過大數據分析更好地從堆積如山的數據中挖掘價值。“這里蘊藏著很大的機遇,一些人可能會錯過這個機會。只要大數據的成功例子得到廣為宣傳并讓人們看到‘數中自有黃金屋’,你就會發現更多的公司愿意將數據在線存儲。”
Gartner也在它最近的報告中討論了這個問題。雖然大數據的量確實是個問題,但是Gartner的分析師認為“真正的問題是挖掘大數據的價值,尋找一種方式來讓大數據可以幫助實現更好的商業決策”。對此,我非常同意。
Gartner 副總裁兼高級分析師Yvonne Genovese表示:“管理大數據的能力將成為那些越來越多地使用新形式信息——比如文本、社交媒體——的企業的核心能力。這種能力將幫助企業尋找最好的模式來支持商業決策,即我們所謂的基于模式的戰略(Pattern-Based Strategy )。作為一種變化引擎,基于模式的戰略將充分利用模式尋找流程中所有的維度。然后,它為新商業解決方案的建模提供基礎,讓企業更好地適應新的環境。”
處理大數據的增長并利用大數據的能力將成為許多企業的優先任務,否則未來幾年他們將受制于這些數據和他們的競爭對手。