精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數據業界動態 → 正文

大數據與數據中心情如連理

責任編輯:wendy 作者:harbor |來源:企業網D1Net  2014-04-04 08:42:42 原創文章 企業網D1Net

企業網D1Net  4月4日 當下“大數據”無疑是最火的,在技術圈里廣為流傳。今年剛剛開完的兩會,中央電視臺引用大數據做出各種各樣的分析統計,可謂是大數據在央視這個平臺上的首次亮相,也將大數據的應用推向了新的高潮。大數據是何許也? 大數據這個概念是13年前,Gartner公司在一份研究報告中首次提出的。大數據從字面上不難理解,就是大量的數據。到2013年,世界上存儲的數據達到了約1.2澤字節,其中非數字數據只占不到2%。下面的表1列了包括澤字節的數據度量單位。

 

1Byte

8Bit

 

1KB

1024Bytes

 

1MB

1024KB

1,048,576Bytes

1GB

1024MB

1,073,741,824Bytes

1TB

1024GB

1,099,511,627,776Bytes

1PB

1024TB

1,125,899,906,842,624Bytes

1EB

1024PB

1,152,921,504,606,846,976Bytes

1ZB

1024EB

1,180,591,620,717,411,303,424Bytes

1YB

1024ZB

1,208,925,819,614,629,174,706,176Bytes

表1 :數據度量單位

1.2澤字節,就是1024EB。這樣說可能感知不到這個數據量有多大。比如紅樓夢包含87萬字,如果將這些數據存儲起來,則1GB相當于671部紅樓夢,1TB相當于631903部,1PB相當于647068911部,1ZB則是1PB的1024*1024倍,這就是海量的數據。我們應該意識到信息爆炸已經到來,我們的數字世界一直在高速擴張。谷歌公司每天要處理超過24PB的數據,這意味著其每天的數據處理量是美國國家圖書館所有紙質出版物所含數據量的上千倍。Facebook這個創立時間不足十年的公司,每天更新的照片量超過1000萬張,每天人們在網站上點擊“喜歡”按鈕或者寫評論大約有三十億次,這就為Facebook公司挖掘用戶喜好提供了大量的數據線索。與此同時,谷歌子公司YouTube每月接待多達8億的訪客,平均每一秒鐘就會有一段長度在一小時以上的視頻上傳。從科學研究到醫療保險,從銀行業到互聯網,各個不同的領域都在講述著一個類似的故事,那就是爆發式增長的數據量。這種增長超過了我們創造機器的速度,甚至超過了我們的想象。這種大數據具有四個特點:大容量(Volume)、類型多(Variety)、增長速度快(Velocity)、價值高(Value),簡稱4V,這樣的數據使得沒有辦法在可容忍的時間下使用常規軟件方法完成存儲、管理和處理任務,因此出現了一系列大數據相關的技術。比如:數據采集技術ETL、數據存取技術SQL、云存儲、云計算、數據挖掘、Hadoop技術等等。

然而這樣爆發式增長的大數據,這些大數據新技術都需要有更多的計算資源、更多的存儲以及高效的轉發平臺,才能充分利用起來這些數據,顯然數據中心是其唯一的落腳點,數據中心可以給大數據提供最基礎的架構,在數據中心,大數據技術可以實施,數據可以保存,完成各種各樣的科研實驗、預測、搜索業務、應用系統等。然后數據中心現在需要面對的是海量數據,這要求數據中心要有龐大的存儲系統,可以存儲大量的計算數據。還要求數據中心計算能力很強,如果每次運算都要花費數周或數月,這樣的計算結果將毫無價值。因此數據中心要有數以萬計的服務器,協同式進行分布式計算。還要求數據中心的帶寬要大,核心鏈路要全部40G/100G互連,讓數據在各個計算節點、存儲節點以及數據中心外界高速傳遞,大數據給數據中心帶來的發展的機遇,加速了數據中心的更新換代,傳統的數據中心已經無法滿足大數據的需要。我們也不難看到,最近各種數據中心新技術層出不窮,有些甚至直接就是為了解決數據中心面臨大數據、云計算而遇到的問題。數據中心從10M接入發展到1000M接入花費了20年,而從1000M到40G接入卻僅用了7、8年的時間,現在在百度、騰訊、阿里的新建數據中心基本全部采用40G互連,100G出口,在運營商網絡400G的高速傳輸已經開始商用,為了滿足日益增長的數據需求,網絡帶寬也在飛速的增長,以太網標準機構已經開始研究400G以太網傳輸技術,目前的理論極限是1000G,相信不久的將來這些都將成為現實,部署到數據中心當中。數據中心傳統的網絡架構也需要革新,FCoE、XLAN、TRILL、SPB、虛擬化技術等一系列新技術撲面而來,讓大數據有了發揮的余地。

大數據賦予了數據中心更多職能。數據中心除了要體現它的價值,把機房、設備、網絡和服務器都建好,但這只是修了條路,而修路的意義關鍵在于跑車,數據中心也一樣,它的價值在于幫助使用者采集、組織和管理數據。在大數據的發展趨勢下,能夠把核心數據、緊密相關的數據,以及一些從社會上拿到的偏向于大數據的數據資源,將這些數據按照自身的核心目標和發展路徑進行組織和管理。數據中心不僅為大數據提供了施展才華的平臺,也將,也將數據進行了管理與集中,發揮更大的效能。

總體來說,似乎是大數據對數據中心的影響就好像是另一款高性能的應用程序,需要更多的處理能力、更多的存儲空間、以及更高性能的網絡,似乎只是帶給了數據中心一個大負擔,數據中心為了迎合大數據,被動進行一些改革。而實際上,大數據不僅僅只是業務分析的工具,其也可以成為幫助改善數據中心的一款有用的工具。通過大數據技術,可以有效刪除一些無用的、重復性的數據,提升數據處理效率,降低數據中心運營的綜合成本。所以大數據不僅僅給數據中心自身帶來的發展,也讓數據中心運營更加高效。大數據并不是簡單的大量的數據堆積,大數據還要解決一些用傳統技術方法無法解決的數據問題,所以海量數據只是其一個方面,關鍵是充分利用好這些海量數據,挖掘其中的價值。

大數據與數據中心的發展相輔相成,互相影響,互相制約,誰也離不開誰。只有將兩者有機地結合起來,才能給企業帶來實質性的收益。要知道流量是一個互聯網企業的生命,而數據也是數據中心的生命,擁有數據數據中心的生命才能延續,然而數據中心要活的精彩,還需要將這些數據充分利用起來,大數據技術就是最好的幫手。未來將是數據爆發的時代,該到了大數據和數據中心大顯身手的時候了。

關鍵字:數據中心大數據

原創文章 企業網D1Net

x 大數據與數據中心情如連理 掃一掃
分享本文到朋友圈
當前位置:大數據業界動態 → 正文

大數據與數據中心情如連理

責任編輯:wendy 作者:harbor |來源:企業網D1Net  2014-04-04 08:42:42 原創文章 企業網D1Net

企業網D1Net  4月4日 當下“大數據”無疑是最火的,在技術圈里廣為流傳。今年剛剛開完的兩會,中央電視臺引用大數據做出各種各樣的分析統計,可謂是大數據在央視這個平臺上的首次亮相,也將大數據的應用推向了新的高潮。大數據是何許也? 大數據這個概念是13年前,Gartner公司在一份研究報告中首次提出的。大數據從字面上不難理解,就是大量的數據。到2013年,世界上存儲的數據達到了約1.2澤字節,其中非數字數據只占不到2%。下面的表1列了包括澤字節的數據度量單位。

 

1Byte

8Bit

 

1KB

1024Bytes

 

1MB

1024KB

1,048,576Bytes

1GB

1024MB

1,073,741,824Bytes

1TB

1024GB

1,099,511,627,776Bytes

1PB

1024TB

1,125,899,906,842,624Bytes

1EB

1024PB

1,152,921,504,606,846,976Bytes

1ZB

1024EB

1,180,591,620,717,411,303,424Bytes

1YB

1024ZB

1,208,925,819,614,629,174,706,176Bytes

表1 :數據度量單位

1.2澤字節,就是1024EB。這樣說可能感知不到這個數據量有多大。比如紅樓夢包含87萬字,如果將這些數據存儲起來,則1GB相當于671部紅樓夢,1TB相當于631903部,1PB相當于647068911部,1ZB則是1PB的1024*1024倍,這就是海量的數據。我們應該意識到信息爆炸已經到來,我們的數字世界一直在高速擴張。谷歌公司每天要處理超過24PB的數據,這意味著其每天的數據處理量是美國國家圖書館所有紙質出版物所含數據量的上千倍。Facebook這個創立時間不足十年的公司,每天更新的照片量超過1000萬張,每天人們在網站上點擊“喜歡”按鈕或者寫評論大約有三十億次,這就為Facebook公司挖掘用戶喜好提供了大量的數據線索。與此同時,谷歌子公司YouTube每月接待多達8億的訪客,平均每一秒鐘就會有一段長度在一小時以上的視頻上傳。從科學研究到醫療保險,從銀行業到互聯網,各個不同的領域都在講述著一個類似的故事,那就是爆發式增長的數據量。這種增長超過了我們創造機器的速度,甚至超過了我們的想象。這種大數據具有四個特點:大容量(Volume)、類型多(Variety)、增長速度快(Velocity)、價值高(Value),簡稱4V,這樣的數據使得沒有辦法在可容忍的時間下使用常規軟件方法完成存儲、管理和處理任務,因此出現了一系列大數據相關的技術。比如:數據采集技術ETL、數據存取技術SQL、云存儲、云計算、數據挖掘、Hadoop技術等等。

然而這樣爆發式增長的大數據,這些大數據新技術都需要有更多的計算資源、更多的存儲以及高效的轉發平臺,才能充分利用起來這些數據,顯然數據中心是其唯一的落腳點,數據中心可以給大數據提供最基礎的架構,在數據中心,大數據技術可以實施,數據可以保存,完成各種各樣的科研實驗、預測、搜索業務、應用系統等。然后數據中心現在需要面對的是海量數據,這要求數據中心要有龐大的存儲系統,可以存儲大量的計算數據。還要求數據中心計算能力很強,如果每次運算都要花費數周或數月,這樣的計算結果將毫無價值。因此數據中心要有數以萬計的服務器,協同式進行分布式計算。還要求數據中心的帶寬要大,核心鏈路要全部40G/100G互連,讓數據在各個計算節點、存儲節點以及數據中心外界高速傳遞,大數據給數據中心帶來的發展的機遇,加速了數據中心的更新換代,傳統的數據中心已經無法滿足大數據的需要。我們也不難看到,最近各種數據中心新技術層出不窮,有些甚至直接就是為了解決數據中心面臨大數據、云計算而遇到的問題。數據中心從10M接入發展到1000M接入花費了20年,而從1000M到40G接入卻僅用了7、8年的時間,現在在百度、騰訊、阿里的新建數據中心基本全部采用40G互連,100G出口,在運營商網絡400G的高速傳輸已經開始商用,為了滿足日益增長的數據需求,網絡帶寬也在飛速的增長,以太網標準機構已經開始研究400G以太網傳輸技術,目前的理論極限是1000G,相信不久的將來這些都將成為現實,部署到數據中心當中。數據中心傳統的網絡架構也需要革新,FCoE、XLAN、TRILL、SPB、虛擬化技術等一系列新技術撲面而來,讓大數據有了發揮的余地。

大數據賦予了數據中心更多職能。數據中心除了要體現它的價值,把機房、設備、網絡和服務器都建好,但這只是修了條路,而修路的意義關鍵在于跑車,數據中心也一樣,它的價值在于幫助使用者采集、組織和管理數據。在大數據的發展趨勢下,能夠把核心數據、緊密相關的數據,以及一些從社會上拿到的偏向于大數據的數據資源,將這些數據按照自身的核心目標和發展路徑進行組織和管理。數據中心不僅為大數據提供了施展才華的平臺,也將,也將數據進行了管理與集中,發揮更大的效能。

總體來說,似乎是大數據對數據中心的影響就好像是另一款高性能的應用程序,需要更多的處理能力、更多的存儲空間、以及更高性能的網絡,似乎只是帶給了數據中心一個大負擔,數據中心為了迎合大數據,被動進行一些改革。而實際上,大數據不僅僅只是業務分析的工具,其也可以成為幫助改善數據中心的一款有用的工具。通過大數據技術,可以有效刪除一些無用的、重復性的數據,提升數據處理效率,降低數據中心運營的綜合成本。所以大數據不僅僅給數據中心自身帶來的發展,也讓數據中心運營更加高效。大數據并不是簡單的大量的數據堆積,大數據還要解決一些用傳統技術方法無法解決的數據問題,所以海量數據只是其一個方面,關鍵是充分利用好這些海量數據,挖掘其中的價值。

大數據與數據中心的發展相輔相成,互相影響,互相制約,誰也離不開誰。只有將兩者有機地結合起來,才能給企業帶來實質性的收益。要知道流量是一個互聯網企業的生命,而數據也是數據中心的生命,擁有數據數據中心的生命才能延續,然而數據中心要活的精彩,還需要將這些數據充分利用起來,大數據技術就是最好的幫手。未來將是數據爆發的時代,該到了大數據和數據中心大顯身手的時候了。

關鍵字:數據中心大數據

原創文章 企業網D1Net

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 驻马店市| 民权县| 台北市| 石屏县| 大渡口区| 巢湖市| 南江县| 洪洞县| 新宁县| 大港区| 右玉县| 肇源县| 丹阳市| 额敏县| 梁平县| 平武县| 北海市| 沛县| 福贡县| 响水县| 九寨沟县| 姜堰市| 上林县| 正宁县| 乌兰浩特市| 云林县| 西乌珠穆沁旗| 丁青县| 信丰县| 清水县| 裕民县| 台中县| 肃南| 从江县| 错那县| 广昌县| 贡觉县| 库伦旗| 宜昌市| 石渠县| 兰坪|