近年來互聯(lián)網(wǎng)、云計(jì)算、移動(dòng)終端和物聯(lián)網(wǎng)迅猛發(fā)展。日漸復(fù)雜的企業(yè)客戶信息數(shù)據(jù)，網(wǎng)店交易記錄，視頻監(jiān)控終端產(chǎn)生的信息數(shù)據(jù)，博客、微博、照片、自創(chuàng)視頻等，數(shù)據(jù)每秒都在爆炸產(chǎn)生……;我們將這種數(shù)據(jù)無時(shí)無刻都在爆炸式增長(zhǎng)的現(xiàn)象稱之為“大數(shù)據(jù)時(shí)代”。大數(shù)據(jù)時(shí)代，信息成為國(guó)家和企業(yè)發(fā)展的戰(zhàn)略資產(chǎn)，大數(shù)據(jù)分析和挖掘?yàn)殚L(zhǎng)遠(yuǎn)發(fā)展提供了決策支持的基礎(chǔ)。

當(dāng)前我國(guó)企業(yè)面臨產(chǎn)業(yè)結(jié)構(gòu)升級(jí)、市場(chǎng)競(jìng)爭(zhēng)加劇，持續(xù)創(chuàng)新能力不強(qiáng)等困難。企業(yè)信息化是產(chǎn)業(yè)邁向現(xiàn)代化，增強(qiáng)競(jìng)爭(zhēng)力的必然過程。曙光認(rèn)為數(shù)據(jù)分析是信息化的核心，其主要的手段就是廣泛采用大數(shù)據(jù)分析技術(shù)，精準(zhǔn)把握消費(fèi)者需求，推出創(chuàng)新產(chǎn)品和創(chuàng)新服務(wù)，創(chuàng)建新的產(chǎn)業(yè)群，以促進(jìn)經(jīng)濟(jì)結(jié)構(gòu)調(diào)整，提高自主產(chǎn)品研制能力，實(shí)現(xiàn)“中國(guó)制造”到“中國(guó)創(chuàng)造”的轉(zhuǎn)變。

應(yīng)大數(shù)據(jù)而生：曙光XData大數(shù)據(jù)一體機(jī)

企業(yè)如何在數(shù)據(jù)爆炸式增長(zhǎng)時(shí)代，實(shí)現(xiàn)商業(yè)變革和管理變革?如何提高行業(yè)企業(yè)創(chuàng)新能力，帶動(dòng)商業(yè)模式轉(zhuǎn)型，實(shí)現(xiàn)“中國(guó)制造”到“中國(guó)創(chuàng)造”的轉(zhuǎn)變?XData大數(shù)據(jù)一體機(jī)是曙光立足于當(dāng)前大數(shù)據(jù)時(shí)代背景下，自主研發(fā)的通用海量數(shù)據(jù)處理平臺(tái)，可廣泛的應(yīng)用在通信數(shù)據(jù)統(tǒng)計(jì)，互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)的日志和用戶行為分析，物聯(lián)網(wǎng)/傳感器網(wǎng)絡(luò)的數(shù)據(jù)監(jiān)控和追蹤分析，以及金融交易數(shù)據(jù)的離線統(tǒng)計(jì)和挖掘等眾多領(lǐng)域。

XData大數(shù)據(jù)處理機(jī)將數(shù)據(jù)存儲(chǔ)單元和處理單元分離，通過構(gòu)架高效的服務(wù)中間件，將底層采用無共享(shared-nothing)結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，聚合成一個(gè)單一的數(shù)據(jù)處理系統(tǒng)映像，達(dá)到較高的數(shù)據(jù)讀寫并發(fā)度，計(jì)算并發(fā)度，以及良好的系統(tǒng)擴(kuò)展性，可靠性和可維護(hù)性。

XData向用戶提供統(tǒng)一的類JDBC的客戶端編程接口，向下管理分布在不同存儲(chǔ)模塊上的不同類型的數(shù)據(jù)，并提供簡(jiǎn)易的用戶管理界面。XData系統(tǒng)的核心技術(shù)包括自動(dòng)的服務(wù)注冊(cè)和負(fù)載均衡，可擴(kuò)展的數(shù)據(jù)劃分和分布策略，高效的批量數(shù)據(jù)加載，通用的并行查詢分析和處理引擎，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一訪問接口，不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索，以及全方位的系統(tǒng)故障和恢復(fù)處理等多項(xiàng)技術(shù)。

曙光XData大數(shù)據(jù)一體機(jī)六大優(yōu)勢(shì)

優(yōu)勢(shì)1：并行處理架構(gòu)

①XData采用無共享的結(jié)構(gòu)，提供高速的數(shù)據(jù)寫入能力。寫入過程中，采用并行寫入的方式，按照一定數(shù)據(jù)劃分策略，將數(shù)據(jù)寫入到后端數(shù)據(jù)節(jié)點(diǎn)。

②XData將查詢語句分解成為在多個(gè)數(shù)據(jù)模塊并行執(zhí)行的查詢?nèi)蝿?wù)流，所有的查詢處理都在數(shù)據(jù)節(jié)點(diǎn)上并行的執(zhí)行，充分利用無共享結(jié)構(gòu)的計(jì)算并行度。

③XData提供任務(wù)斷點(diǎn)執(zhí)行功能，發(fā)生意外情況時(shí)，系統(tǒng)啟動(dòng)后繼續(xù)執(zhí)行未完成的任務(wù)。

優(yōu)勢(shì)2：分級(jí)存儲(chǔ)

XData支持分級(jí)存儲(chǔ)，以降低系統(tǒng)的總體持有成本。即按照數(shù)據(jù)量和數(shù)據(jù)的訪問頻率，分為在線，離線和備份三個(gè)存儲(chǔ)級(jí)別，并支持?jǐn)?shù)據(jù)在各級(jí)之間根據(jù)策略進(jìn)行遷移。

優(yōu)勢(shì)3：一體化執(zhí)行框架

①XData提供類JDBC訪問接口：XJDBC，有JDBC 使用經(jīng)驗(yàn)的用戶無需額外學(xué)習(xí)即可很方便的使用XJBDC訪問接口;

②XData提供XJDBC/MapReduce混合執(zhí)行框架，提供跨平臺(tái)的兼容性;

③XData還提供較XJDBC訪問接口更高的性能的專用編程接口。

優(yōu)勢(shì)4：圖形化監(jiān)控管理

XData提供基于Web的圖形化的管理工具，簡(jiǎn)化了系統(tǒng)管理員對(duì)于大數(shù)據(jù)系統(tǒng)的管理和維護(hù)工作，使得管理一套含有幾百個(gè)節(jié)點(diǎn)的XData和管理一套10個(gè)節(jié)點(diǎn)的XData的工作量接近。

優(yōu)勢(shì)5：高可擴(kuò)展性

①XData對(duì)數(shù)據(jù)進(jìn)行細(xì)粒度劃分，無需進(jìn)行復(fù)雜規(guī)劃，任意規(guī)模的擴(kuò)展都能夠達(dá)到數(shù)據(jù)分布均衡。

②XData提供細(xì)粒度數(shù)據(jù)鎖，提高數(shù)據(jù)訪問并發(fā)度，減小單個(gè)查詢操作的無效IO，提高整體處理效率。

優(yōu)勢(shì)6：復(fù)雜數(shù)據(jù)類型關(guān)聯(lián)分析

①XData支持大表關(guān)聯(lián)和大表嵌套類等復(fù)雜的查詢語句的處理。XData系統(tǒng)通過將復(fù)雜查詢解析成在多個(gè)數(shù)據(jù)節(jié)點(diǎn)上的并行任務(wù)流，提高復(fù)雜查詢的處理性能。

②XData支持用戶自定義的并行查詢?nèi)蝿?wù)流，可以支持任意復(fù)雜的結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理語義，滿足更廣泛的應(yīng)用需求。

XData大數(shù)據(jù)一體機(jī)包含兩類組件：計(jì)算模塊、數(shù)據(jù)模塊和客戶端。

計(jì)算模塊：用于數(shù)據(jù)的并行加載和查詢處理，對(duì)客戶端提供統(tǒng)一的數(shù)據(jù)處理接口。

數(shù)據(jù)模塊：用于提供結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)一體化存儲(chǔ)空間，內(nèi)嵌高性能數(shù)據(jù)存取引擎，并行處理所有計(jì)算模塊的數(shù)據(jù)訪問請(qǐng)求。

客戶端：用于和用戶應(yīng)用對(duì)接，提供XJDBC/MapReduce統(tǒng)一訪問接口和各服務(wù)專用訪問接口。曙光XData大數(shù)據(jù)一體機(jī)與解決方案捆綁可以整合各個(gè)層面的數(shù)據(jù)，從數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等方面構(gòu)建完整的數(shù)據(jù)管理鏈條，為政府管理和決策提供切實(shí)可信的數(shù)據(jù)支持，極大地提高公共管理的運(yùn)營(yíng)效率，提高政府的信息化決策水平和公共服務(wù)水平，最終實(shí)現(xiàn)區(qū)域社會(huì)、經(jīng)濟(jì)、民生長(zhǎng)期可持續(xù)發(fā)展。