伴隨著智能手機、視頻、社交網絡、微博等新型溝通工具源源不斷地產生海量的非結構性數據，企業不得不面對大數據爆炸帶來的難題。據IDC預測，未來十年全球大數據將增加50倍。而僅在2011年，全球就產生了1.8ZB(也即1.8萬億GB)的大數據。毫無疑問，大數據將挑戰企業的存儲架構及數據中心基礎設施等，也會引發云計算、數據倉庫、數據挖掘、商業智能等應用的連鎖反應。
大數據引發三重挑戰
具體到企業而言，其面臨的最直接的挑戰就是企業的基礎架構是否適應大數據管理和分析的需要，尤其是一旦要從大數據中查找或者分析出有價值的信息，那大數據的處理效率就成為了關鍵。而即使是傳統的結構化數據，其對處理速度的要求也越來越高。以銀行業為例，伴隨著銀行網點、ATM機的多點布局，再加上越來越多的新興業務轉移到互聯網上，使得銀行不得不面對無時無刻無處不在的數據處理響應需求。
影響數據處理速度的因素很多，歸結起來主要有計算、存儲和網絡三大方面的因素。計算依靠服務器來實現，其CPU的主頻、內存的容量和I/O帶寬，都會影響到運算速度。尤其是服務器整體表現出來的性能，將會是影響大數據處理的關鍵因素。此外，有些企業喜歡采用x86集群或者分布式計算來對大數據進行處理，但是各個計算節點間的調用和處理器使用效率，亦成為影響數據處理快慢的因素。
存儲方面，傳統的存儲系統已經成為數據庫處理的瓶頸，這些制約因素包括存儲系統到數據庫的帶寬限制、存儲陣列的內部瓶頸等。數據帶寬已經嚴重地限制了數據庫的性能，而隨機I/O的瓶頸限制了OLTP(聯機事務處理)應用的性能。網絡帶寬涵蓋了服務器和存儲系統間的帶寬、終端和主機間的帶寬。假如采用集群或分布式系統，還需要考慮節點之間的帶寬。
大型數據庫開啟效率之旅
除了上述三個因素外，許多企業基于歷史發展的原因，還會創建多個數據庫。它們經常采用不同的平臺，使用不同的軟件，造成了數據處理和管理效率的低下。
這些數據庫通常包含與其它數據庫相重復的數據。一個數據庫一般不會將另一個數據庫作為數據源。這樣就會消耗額外的磁盤存儲，增加重復數據遷移所需要的網絡帶寬，也會因從多個數據存儲獲取相同數據的需要而額外增加服務器CPU處理的負荷。
同時，假如企業擁有多個數據庫的話，那么他們通常會將它們部署在不同的平臺上，針對不同的硬件平臺采用不同的維護方法。這樣需要維護不同品牌和模型的服務器數量越多，成本就越高。如果是關鍵任務服務器，那么提供冗余性的硬件就會重復，這也會增加額外的成本。
此外，企業還不得不面對運營效率低下的問題。假如在多個服務器上運行多個數據庫系統，那么有一些運營成本需要考慮，包括培訓多個系統的人員、監控多個系統、修復多個平臺的故障、修補和更新多個系統。而在統一的操作系統和硬件平臺上運行一個系統會更簡單一些，成本也更低。另外，監控和故障修復也更加簡單。
在一些情況中，數據規模直接決定了系統規模。大容量數據需要組織起來進行處理才會產生價值。如果將整個企業的信息整合為一個統一且安全的整體，那么許多企業都將獲益更多。因而雖然單個大型數據庫系統的初始成本高于一般數據庫，但是對于長期運營而言，更加劃算。而且單個數據庫系統可以根據當前需求調整規模，在有需要時增加容量，從而使整個系統處于高效率的運行狀態。
內存計算化繁為簡
值得一提的是，近年來許多數據庫廠商大力發展的內存計算技術，同樣對數據處理速度的提升起到了很大的作用。
內存計算的主要用途之一是龐大的數據集的實時操作。在傳統的數據庫中，數據存在硬盤上。數據和服務器的CPU，通過有線連接，所以數據要到達的“桌面”是緩慢和遙遠的，當需要十億字節或者艾字節的數據時，數據庫性能緩慢的主要原因之一是數據存取的時間過長，不能以足夠快的速度到達所需要的地方。
在內存計算中，數據就存儲在CPU的旁邊，可以瞬間到達。這意味著數百GB的數據分析，報告和預測需要幾秒鐘內就可以完成，而不是幾小時。
行業掘金性能為王
大型數據庫和內存計算分別在應用模式和技術上為提升大數據的處理效率作好了準備，但無論是大型數據庫還是內存計算，都需要服務器主機具有強大的計算能力、大容量的內存和足夠的存儲空間，并且將這三者集于一身。而歸根結底，就是服務器主機必須具備強大的性能，才能滿足高效處理大數據的需要。
結合電信、金融等行業的應用發展，伴隨著這些行業的數據向省級集中，更大容量的數據庫和更高性能的服務器主機，成為應對大規模用戶集中訪問數據的基礎。
以電信行業為例，電信核心業務平臺不僅包含了計費、網管、營業、財務以及外部CRM和其它系統，而且還需要在此基礎上完成數據的抽取、清洗和轉換，從而在數據倉庫的基礎上建立商業智能平臺，為客戶管理管理系統、決策支持系統等系統提供支撐。所有這一切要求核心業務平臺必須有一個強大的基礎設施平臺作為支撐，確保電信的所有業務系統都能夠在一個安全、穩定、高效的環境下順暢運行。
在銀行業，數據大集中早在多年前就已經開始實施了。然而，由于銀行業利用IT基礎設施服務業務發展起步較早，這也造成了部分核心業務系統版本多、需要不同開放和升級的弊端。中國銀行作為領先的大型商業銀行，早就意識到了這些問題。2011年10月，中國銀行核心業務系統全轄上線，為2006年正式啟動的IT藍圖實施工程畫上圓滿句號。
在IT藍圖項目啟動之前，中國銀行的信息科技建設已經難以滿足業務的快速發展。一個集中的表現就是核心業務系統不統一，有6個不同的版本，同時數據集中度不高，舊的核心業務系統分布在華北、華東、華南、西北、西南五個區域信息中心。
IT藍圖項目實施后，中國銀行信息中心將直接為34家一級分行、1萬多家網點提供運維服務，實現了全行核心業務系統的統一，完成了數據集中，為經營管理分析奠定了堅實的數據基礎，同時實現從柜員到客戶，從交易到賬戶等多維度、全方位的控制。而掌控這些的“大腦”則是數據中心里高性能、高效率運轉的大型服務器。
其實，無論是金融、電信還是其它行業，要讓數據發揮更好的作用，或者通過數據挖掘更好地為企業的經營決策提供依據，將數據集中管理已經是必然的趨勢。而最終能否實現目標，一方面要前期進行充分的調研和規劃，另一方面離不開大型服務器的在幕后提供更快更強的計算能力。
京公網安備 11010502049343號