數據中心建設規模在不斷擴大,增長速度長期不減,這和數據量的高速增長密不可分。如今,全球數據總量每十八個月就能翻番,這樣的增長速度是一件“可怕”的事情,遠超大家想象。若按照IDC的預測,到2025年,全球將會有163個ZB的數據,這個量相當于四個大西洋的海水,全球數據中心流量將增長3.3倍。數據量增長的速度有如一場海嘯,迅速地吞噬著全球數據中心的各種存儲設備和器件,數據中心耗費巨資不斷購入大量存儲設備,以便盡量去滿足不斷增長的數據量存儲需求,這給數據中心帶來了極大的成本壓力,降低了數據中心的盈利水平。數據海嘯已經成為每個數據中心不能回避的問題,數據中心必須做出有效對策,才能不被數據海嘯打倒。那么如何有效應對數據海嘯呢?本文給出了一些對癥良方。
刪除無用數據
表面上看數據量在高速增長,但很多數據從某些方面來講都是重復的、無用的,沒有利用價值,完全可以丟棄不用。在對數據進行存儲時,一定要進行過濾,阻止垃圾數據進入存儲設備。很多數據還具有高度重復性,也許每個人都會收藏一部經典的電影《人鬼情未了》,并將這部電影放到數據中心里個人的存儲空間保存著,以便想看的時候直接登錄上去播放看就可以了,這個電影絕大部分時間都是在數據中心的存儲設備里靜靜地存著,毫無意義還占用巨大存儲空間。所以,數據中心可以只存儲一份這部電影,然后存儲無數個人用戶的數據鏈接,當人們需要看這部電影時,表面上看是點擊了這部電影播放,后臺實際上只是一個數據鏈接,然后將存儲的一份電影向其播放,這將極大地減少數據的存儲空間,對于其它重復性的數據也可以如此實現。我們知道,一般一個應用軟件的使用時間在二十年,很多軟件其實已經很少有人訪問,存留下來的大量數據都變成了無用數據,數據中心要及時將這些數據清理掉,讓出存儲空間來,節約存儲設備使用,數據中心的存儲資源是有限的,遲早有用完的這一天,這一天來得越晚,就越能給數據中心節省成本,帶來的是數據中心的優越競爭力。一些中間計算數據也占用了臨時存儲空間,要及時清理掉。還有,對于這個數據中心來說,數據可能是有用的,通過大數據技術分析可以得到一些有用的東西,而這些數據中心對其它的數據來說可能是無用的,再怎么分析也得不到有益結果,這些數據不妨直接刪除,不要再占用數據中心存儲空間。其實,數據中心里百分之九十的數據都可以說是無用數據,應及時清除。
利用壓縮技術
眾所周知,數據是可以壓縮的。我們在將數據保存到存儲設備之前,可以對數據進行壓縮,盡量減少占用空間。數據壓縮技術在不斷進步,壓縮比越來越高,減緩了數據對存儲空間的消耗。壓縮技術有無損壓縮和有損壓縮,無損壓縮主要是一些編碼算法,比如子帶編碼,差分編碼,哈夫曼編碼等算法;有損壓縮主要是一些量化算法,比如a率、u率、lloyds最優量化算法。對于一些不重要的音頻、視頻資源,適當地使用一些有損壓縮技術,對數據的使用并沒有影響,還可以大大提升壓縮效果。對于一些本文文件,即便是使用無損壓縮,也可以將文件縮減幾十倍,甚至上百倍。壓縮技術的普及使用,可以有效緩解數據存儲的壓力,要在數據中心里推廣使用。當然,對那些訪問實時性較高的數據,并不適宜采用壓縮存儲,因為數據的解壓是需要時間的,壓縮比越高的數據解壓起來更加耗時,這樣在訪問這樣的壓縮數據時,需要更多的等待時間,降低了訪問效率,對于這樣的訪問不適合使用壓縮算法保存數據。壓縮技術也在不斷進步,解壓時間也在不斷縮短,這樣就能不斷擴大壓縮技術使用的廣泛性。
擴容網絡帶寬
數據量越大,需要占用的網絡帶寬就越多。正是因為數據量的不斷攀升,我們就需要更高的帶寬,有些時候,甚至網絡帶寬的高低已成為了影響數據中心業務部署發展最為關鍵的因素。網絡帶寬越高,數據傳輸得越快,就可避免網絡出現堵塞情況,影響到數據中心業務運行。數據中心網絡設計要從簡,網絡層級要少,設計扁平化的網絡,從接入到核心出口一般就設計兩級,這樣網絡中出現擁塞的點就少。網絡流量模型不要設計成茶壺型的,口小肚大。要設計成圓筒形,出入口要大,這樣向數據中心里裝的數據才夠快。擴容網絡帶寬并不僅指網絡出入口的地方,還要從網絡整體上來進行規劃設計,包括連接服務器和存儲側都要考慮,提高數據中心內架頂式交換機與服務器網卡、存儲設備之間的速度,避免出現大馬拉小車或者小馬拉大車的情況出現。
隨著海量數據的到來,現有的數據中心存儲能力是遠遠不足的。數據中心要從多方面去迎接這次數據海嘯的到來。至少近十年,全球數據依然會保持高位增長態勢,數據海嘯給數據中心帶來了極大的存儲壓力。海量數據一直在高速增長,我們必須想辦法將其控制下來,未來的數據中心會在怎樣縮小海量數據上下功夫,不會任由數據海嘯擴張。數據中心除了從以上三個方面狙擊數據海嘯,還可以在提升存儲使用率、優化存儲資源分配、無效數據甄別能力、云計算和大數據的應用等方面加大投入。這些都是應對數據海嘯很好的方法,需要在未來的數據中心中去應用和實踐。
版權聲明:本文為企業網D1Net原創,轉載需注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。