《企業(yè)網(wǎng)D1Net》2月25日訊
大數(shù)據(jù)所帶來的影響幾乎無處不在，不管是高性能的計算機(jī)領(lǐng)域，還是大城市的運(yùn)營和規(guī)劃部門，大量的數(shù)據(jù)在各地噴涌而出。
但，有一個因?yàn)榇髷?shù)據(jù)而產(chǎn)生實(shí)質(zhì)性影響的領(lǐng)域卻較少得到了關(guān)注：那就是數(shù)據(jù)中心自身，技術(shù)經(jīng)理普遍認(rèn)為大數(shù)據(jù)會逐漸對傳統(tǒng)數(shù)據(jù)系統(tǒng)和實(shí)踐進(jìn)行重塑。
大數(shù)據(jù)是指超大型數(shù)據(jù)集的處理問題，這挑戰(zhàn)了傳統(tǒng)數(shù)據(jù)管理和分析技術(shù)。這些大數(shù)據(jù)集的增長，以及從中提取價值的必要性，都迫使機(jī)構(gòu)開始使用諸如Apache基金會的Hadoop分布式計算框架、柱狀數(shù)據(jù)庫以及其他大數(shù)據(jù)管理的解決方案。
這些技術(shù)的采用，反過來，也逐漸重組了數(shù)據(jù)中心，包括部署更多融合計算基礎(chǔ)架構(gòu)，改變數(shù)據(jù)中心流量模式，以及改變基本的存儲成本。
鑒于驚人的數(shù)據(jù)增長，政府機(jī)構(gòu)對大數(shù)據(jù)管理的興趣并不令人意外。惠普大數(shù)據(jù)和云計算解決方案的策略師Van Young，引用IDC的數(shù)據(jù)表示，與2012年的1.8ZB數(shù)據(jù)相比， 到2020年，全球數(shù)據(jù)將計劃達(dá)到40ZB(10萬億字節(jié))。
在政企市場，這種規(guī)模的數(shù)據(jù)管理已經(jīng)開始對傳統(tǒng)的IT系統(tǒng)發(fā)起挑戰(zhàn)，并且會促進(jìn)數(shù)據(jù)中心管理者采用幾年前被認(rèn)為是非常另類的解決方案。Young最近在美國政府部門合作伙伴的大數(shù)據(jù)會議上表示，“你需要配置一些新科技。”
變革的推動者：Hadoop
Hadoop在一眾新晉技術(shù)中顯得非常引人注目。這一開源軟件框架包括Hadoop分布式文件系統(tǒng)（HDFS），它將大數(shù)據(jù)集分發(fā)到Hadoop集群的服務(wù)器里。Hadoop的另一個關(guān)鍵是MapReduce，它提供了跨集群的分布式數(shù)據(jù)處理。這種結(jié)構(gòu)使得數(shù)據(jù)和處理資源一直保持很近的距離。
Hadoop集群服務(wù)器通常以千兆以太網(wǎng)或10千兆以太網(wǎng)進(jìn)行相互連接。所有這些Hadoop架構(gòu)內(nèi)的新技術(shù)正在朝融合數(shù)據(jù)中心架構(gòu)的方向發(fā)展。
“當(dāng)你想到Hadoop的時候，是存儲、服務(wù)器和網(wǎng)絡(luò)，以及它們之間集群通信的結(jié)合。”Young認(rèn)為這是Hadoop與先前各自孤立的服務(wù)器和存儲管理的不同之處。
“Hadoop改變了數(shù)據(jù)中心基礎(chǔ)架構(gòu)的前景。”Young認(rèn)為，“融合架構(gòu)才是真正的關(guān)鍵。”
不過，Hadoop的影響在每個政府機(jī)構(gòu)中大相徑庭。博思艾倫漢密爾頓策略創(chuàng)新集團(tuán)的總裁Peter Guerra認(rèn)為，許多聯(lián)邦機(jī)構(gòu)正在試水Hadoop。一些機(jī)構(gòu)正努力把Hadoop作為數(shù)據(jù)中心日常運(yùn)營的一部分。
數(shù)據(jù)中心生態(tài)系統(tǒng)的變化
不過，Hadoop已經(jīng)被證明在其他一些機(jī)構(gòu)中會改革得更加徹底，特別是在國防部，Gueera表示，一些聯(lián)邦機(jī)構(gòu)選擇用Hadoop替代了傳統(tǒng)的NAS和SAN技術(shù)。
“我們已經(jīng)看到客戶針對長期數(shù)據(jù)存儲需求，棄用了NAS和SAN結(jié)構(gòu)，轉(zhuǎn)而偏好大型的Hadoop集群。”Gueera表示。這在政府機(jī)構(gòu)中已經(jīng)成為一種模式，在關(guān)鍵業(yè)務(wù)領(lǐng)域把Hadoop作為企業(yè)技術(shù)來部署。
數(shù)據(jù)中心的存儲并不是唯一被大數(shù)據(jù)所影響的部分。作為惠普大數(shù)據(jù)存儲和云計算解決方案的策略師，Robert Wisnowski認(rèn)為大數(shù)據(jù)同樣改變了數(shù)據(jù)中心的流量模式。Hadoop節(jié)點(diǎn)之間的集群通信采用了東西向模式，而不是原來的南北向模式。南北向模式在傳統(tǒng)的數(shù)據(jù)中心里表現(xiàn)得更為典型。
“所以這些都是要時刻謹(jǐn)記和多加考慮的，因?yàn)檫@意味著你的數(shù)據(jù)中心所受到的影響。” Wisnowski表示，“我忍不住想要奉承下（這個新模式），更簡單的數(shù)據(jù)中心結(jié)構(gòu)不僅會提高性能，而且還能減少延遲和降低成本。”
不同的是，在另一些情況下，大數(shù)據(jù)系統(tǒng)可以借由數(shù)據(jù)中心升級，來完成大數(shù)據(jù)的獨(dú)立進(jìn)化。EMC聯(lián)邦部門首席技術(shù)官Rich Campbell表示，他們的主要政府客戶正在進(jìn)行從千兆以太網(wǎng)到10千兆以太網(wǎng)的遷移。
他還表示，這些升級并不一定要與大數(shù)據(jù)一起進(jìn)行規(guī)劃，但是大數(shù)據(jù)技術(shù)會利用到新網(wǎng)絡(luò)。同樣地，擁有虛擬服務(wù)器的政府機(jī)構(gòu)也為大數(shù)據(jù)提供了可以利用的資源。他解釋道：“不需要更多的服務(wù)器，只要以不同的方式使用它們就可以了。”
數(shù)據(jù)中心中的大數(shù)據(jù)技術(shù)還帶來了另一個影響：降低成本的潛力。一個傳統(tǒng)的企業(yè)數(shù)據(jù)倉庫可以使用提取、轉(zhuǎn)換和加載（ETL）工具來整合不同數(shù)據(jù)源，還可以進(jìn)行數(shù)據(jù)轉(zhuǎn)換。
但Guerra卻認(rèn)為這個過程是復(fù)雜、耗時以及相當(dāng)費(fèi)錢的。相比之下，Hadoop，可以在分析之前實(shí)現(xiàn)數(shù)據(jù)的整合。在一些情況下，這可以減少政府機(jī)構(gòu)對數(shù)據(jù)整合和ETL工具的使用，Guerra表示這可以節(jié)省軟件許可成本。
Wisnowski認(rèn)為，融合大數(shù)據(jù)基礎(chǔ)架構(gòu)同樣也可以節(jié)省資金。整合存儲和服務(wù)器的行為可以讓IT機(jī)構(gòu)降低成本。而且，他認(rèn)為融合系統(tǒng)，可以實(shí)現(xiàn)更少的碳足跡，降低電力費(fèi)用和冷卻費(fèi)用。
京公網(wǎng)安備 11010502049343號