數據中心正在成為新時代的“信息電廠”,成為知識經濟的基礎設施
過去一年,“大數據”正在成為一個熱門話題。
半個世紀信息技術的發展,主要解決的是云計算中“結構性”數據的存儲、處理與應用。“結構性”數據的特征有如你到銀行去存取款,銀行的計算機系統記錄著你的名字,在名字之后是你存取款的數量、時間、類型等信息。這些數據的特征是“邏輯性強”,每個“因”都有“果”。
然而現實社會中大量數據事實上沒有“顯現性”的因果關系,如一個時刻的交通堵塞、天氣狀態、人的狀態(心理與物理)等,它的特征是隨時、海量與彈性,如一個突變天氣分析包含會有幾百個PB(Petabyte, 1Petabyte=1024TB)數據。而一個社會事件如喬布斯去世瞬間所產生在互聯網上的數據(微博、紀念、文章、視頻等)也是突然暴發出來。
傳統的計算機設計與軟件都是以解決“結構性”數據為主。對這一類新型的“非結構”要求一種新的計算架構。互聯網時代,尤其是社交網絡、電子商務與移動通訊把人類社會帶入一個以“PB”為單位的結構與非結構數據信息的新時代,它就是“大數據(Big Data)”時代。
大數據的企業與技術
一個大規模生產、分享、應用數據的時代正在開啟,我們每個人都成為了數據的創造者和使用者,微博、社交網絡都是最好的例子。
工業革命以后,書籍等以文字為載體的知識大約每十年可以翻一番;1970年以后,知識大約每三年就可以翻一番;如今,全球信息總量每兩年就可以翻一番;2010年互聯網的數據量,比之前所有年份的總和還要多。現在,人類每天可以產生數以PB的數據,從日志、微博、分享照片、傳送視頻,多種格式的數據實時、不斷地更新。在醫療衛生、地理信息、電子商務、影視娛樂等行業,每天也都在創造著大量的數據。
數據正在成為從工業經濟向知識經濟轉變的重要特征,成為新時代最關鍵的生產要素和產品形態。
代表著大數據時代的如Apple、Facebook、Amazon等公司正成為這場變革的推動力量。同時新企業也層出不窮,比如2007年才成立的Dropbox公司,創始人不到27歲,估值已經超過40億美元,這是一家提供文件備份及共享服務的公司,允許用戶在不同平臺和設備之間同步并共享文件,Dropbox用戶數量超過2500萬,每天存儲的文件數量2億多個,蘋果公司曾出價8億美元想收購它未成功。
值得一提的是,這家公司最早使用的也是Amazon的S3云計算平臺,得以低成本迅速起步。Amazon云計算數據存儲服務,原來只是為了利用閑置服務器資源,現在一年可以帶來近10億美元收入,并且供不應求。今年初,Amazon S3云存儲服務存儲文件是2620億份,這個數字最近變成了5660億份,翻了1倍還多。目前Amazon稱自己的S3數據存儲服務,擔心的已經不是數據的存儲成本,而是更加重要的數據處理的問題。
云計算中的大數據有幾個核心要素,如數據在云端的集合與分享、個人數據的無縫連接(隨時、隨地、同步)以及數據的跟蹤分析和挖掘。
源自雅虎的Hadoop這樣大數據系統越來越重要,作為開源的分布式數據處理系統架構,Hadoop主要面向存儲和處理成百上千TB直至PB級別的結構化、半結構化或非結構化的大數據。Hadoop提供的MapReduce能將大數據問題分解成多個子問題,將它們分配到成百上千個處理節點之上,再將結果匯集到一個小數據集當中,從而更容易分析得出最后的結果。
Hadoop已經成為AOL、Facebook、Twitter和Netflix這些公司大數據分析的主要解決方案。比如像Facebook一天的數據要比很多大公司一年的數據還要多,他們通過Hadoop收集和存儲每天生成的數百萬的文件,使用開源Apache Hive數據倉庫工具集中對這些數據進行分析。
Opera Solutions這樣的創新公司提供的服務更加引人注目:客戶將數據上傳到Opera平臺,Opera就會根據用戶數據池里的相關“信號”進行分析,根據每個客戶的個性化需求,Opera雇傭各行業的專家來幫助他們進行數據分析,Opera Solutions的年營業額已經超過1億美元。
新的創業公司像MapR、Zettaset、Cloudera、HStreaming這些和Hadoop相關的大數據公司,在資本市場倍受青睞。它的快速成長將會成為下一個改變信息技術的力量。
大數據的經濟意義
大數據為云計算大規模與分布式的計算能力提供了應用的空間,解決了傳統計算機無法解決的問題。同時這個領域的計算標準與軟件均剛剛起步,為全世界新型軟、硬件及應用創新提供了前所未有的機會。
海量的數據需要足夠存儲來容納它,快速、低廉價格、綠色的數據中心部署成為關鍵。最近一年多來,谷歌、Facebook、Rackspace等公司都在紛紛建設新一代的數據中心,大部分都采用更高效、節能、定制化的云服務器,用于大數據存儲、挖掘和云計算業務。
數據中心正在成為新時代的“信息電廠”,成為知識經濟的基礎設施。從海量數據中提取有價值的信息,數據分析使數據變得更有意義,并將影響政府、金融、零售、娛樂、媒體等各個領域,帶來革命性的變化。以投資Facebook而著名的風險投資機構Accel Partners 表示:“大數據是信息技術未來發展的戰略走向,將催生下一代價值數萬億美元的軟件企業。”
大數據將豐富我們對世界的認識。從定量、結構的世界,到不確定、非結構的世界。這個轉變,使我們得以了解真實信息,提高決策水平,當社會對自然的數據有較為完善、隨時的分析能力時,我們對事件的把握及預測能力便增強。以云計算為基礎的信息存儲、分享和挖掘手段為知識生產提供了工具,通過對大數據分析、預測會使得決策更為精準,這對現階段的中國尤其重要。
中國有著龐大的人群和應用市場,復雜性高、充滿變化,如此龐大的用戶群體,使中國成為世界上最大數據的國家。解決這種由大規模數據引起的問題,探索以大數據為基礎的解決方案,是中國產業升級,效率提高的重要手段。
“數據銀行”與“云存儲”
“數據銀行”概念逐漸變為應用的試點。將有公司把我們產生的數據如金錢資產一樣,放在“數據銀行”中儲存起來。
企業計算在大數據環境中可以將已有數據和文檔向云計算環境遷移,加快云環境下的數據管理、數據挖掘等軟件應用,進行商業模式探索和數字化決策。政府可以通過海量數據的存儲、分享,進行分析和應用,通過數據共享和業務協同,提升辦公智能和決策效率,解決城市交通、人口管理、公共安全、醫療衛生等諸多難題。
數據不僅代表著生產力,還將成為重要的資產,或許在將來,我們留給下一代的資產,不是銀行里有多少存款,而是信息資產;也許10年、15年之后,會有國家的數據銀行,相對今天的財富資產,里面保存的是我們的信息資產。
大數據的各種基礎及應用軟件、硬件產品會逐步推出,而這方面中國創業型企業與硅谷距離也在縮短。今年底我們投資的北京超云計算機公司,將在北京亦莊與硅谷一家企業同時推出世界首臺解決大數據問題的“Hadoop”服務器。
“云存儲”將會由于蘋果的“iCloud”而逐漸流行起來。傳統的家電企業提供“云家電”將成為應用熱點。大規模、海量的“云數據”中心建設會成為全球與中國下輪基礎設施投資重點。
無論云計算還是大數據技術與應用,今天還是早期發展階段,相當于上世紀80年代初的個人計算機。我們已看到它廣闊的應用前景及改變世界經濟的力量。但是我們仍無法準確地預知什么樣的商業模式與什么樣的企業、企業家會取得最終的成功。探索、學習與試錯是進入這個新世界之門的唯一鑰匙。
作者為中國寬帶產業基金董事長
【作者:田溯寧/文 】