信息技術(shù)、計算機技術(shù)和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展促進了人類社會各類數(shù)據(jù)的爆炸性增長如何對這些結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)進行有效管理己經(jīng)成為當(dāng)前社會的熱點問題之一。自2011年EMC公司首次在年度大會中提出大數(shù)據(jù)的概念，己有多家公司和機構(gòu)對大數(shù)據(jù)問題進行了研究。由于信息技術(shù)己經(jīng)滲透到人類社會的多個領(lǐng)域，大數(shù)據(jù)問題會給整個社會帶來深刻的影響可以預(yù)見，大數(shù)據(jù)問題必然會給信息技術(shù)產(chǎn)業(yè)帶來一場深刻的技術(shù)變革。基于大數(shù)據(jù)的信息系統(tǒng)的技術(shù)創(chuàng)新是未來發(fā)展信息技術(shù)的關(guān)鍵，也是有關(guān)國家發(fā)展戰(zhàn)略的重要課題。面對著大數(shù)據(jù)問題帶來的機遇和挑戰(zhàn)，我國有必要加大科研力度，努力縮小在信息技術(shù)領(lǐng)域與國際先進水平的差距。

一、大數(shù)據(jù)的特征與價值

對于大數(shù)據(jù)的定義目前仍沒有一種通行的標(biāo)準(zhǔn)，不過從數(shù)據(jù)使用者的角度來講，大數(shù)據(jù)可以定義為超過使用者所能處理和分析能力上限的數(shù)據(jù)。由于信息技術(shù)在人類社會的應(yīng)用廣泛而又深刻，各行業(yè)的公司、企業(yè)乃至政府機構(gòu)都存儲了大量的數(shù)據(jù)然而，這些大數(shù)據(jù)內(nèi)的大量有價值的信息卻很少被挖掘出來加以利用。究其原因，一方面是由于目前人們對于大數(shù)據(jù)的利用價值沒有全面而深刻的認(rèn)識，忽視了大數(shù)據(jù)中存在的重要信息；另一方面，由于缺乏相關(guān)的技術(shù)和人才，不能對這些大數(shù)據(jù)進行有效地處理和分析，以挖掘出其中有價值的信息。

大數(shù)據(jù)的基本特征是多樣性、體量、速度以及價值所謂多樣性是指大數(shù)據(jù)的來源豐富，且結(jié)構(gòu)組成也相對多樣化：體量即指數(shù)據(jù)量卜大：而速度是指數(shù)據(jù)的生成、變化和處理的速度都很快：價值則指大數(shù)據(jù)蘊含的應(yīng)用價值。由于大數(shù)據(jù)的這些基本特征給當(dāng)前的數(shù)據(jù)處理和分析技術(shù)帶來了極大的難度，也給信息技術(shù)發(fā)展帶來了新的挑戰(zhàn)。為了對大數(shù)據(jù)進行處理以挖掘有價值的信息，我們不僅需要提升硬件設(shè)施的性能，而且要研發(fā)出能夠處理大容量數(shù)據(jù)的技術(shù)、算法以及應(yīng)用軟件。

現(xiàn)代社會的信息化和數(shù)字化必然會導(dǎo)致大量數(shù)據(jù)的產(chǎn)生和累積。就現(xiàn)代企業(yè)而言，其在采購、生產(chǎn)、運輸、銷偉等環(huán)節(jié)都產(chǎn)生了大量數(shù)據(jù)。這些數(shù)據(jù)包含了企業(yè)運營過程中接觸到的供應(yīng)商、客戶、人力資源等重要信息。現(xiàn)代企業(yè)的諸多決策很大程度上依賴于這些數(shù)據(jù)分析的結(jié)果。國外相關(guān)的研究表明，大數(shù)據(jù)存在著卜大的潛力，將會給整個社會的經(jīng)濟發(fā)展、技術(shù)創(chuàng)新和價值取向帶來重大的變革充分發(fā)揮大數(shù)據(jù)的價值，企業(yè)可以顯著提高其運營效益：而政府的運行和管理效率也會得到大幅提高。總之，大數(shù)據(jù)的潛在價值卜大，研究基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)具有重要的戰(zhàn)略意義。

二、基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)

2.1分布式數(shù)據(jù)庫與處理系統(tǒng)

由于大數(shù)據(jù)的多樣性和大體量等特征，關(guān)系型數(shù)據(jù)庫在處理大數(shù)據(jù)時普遍存在著不可忽視的缺陷。而大數(shù)據(jù)的價值密度也相對較低，對于數(shù)據(jù)庫提出了新的要求。分布式數(shù)據(jù)庫系統(tǒng)采用更加簡單的模型對數(shù)據(jù)信息進行管理Bigtable技術(shù)采用字符串的形式實現(xiàn)了對數(shù)據(jù)信息的高效管理：而Dynam.技術(shù)采用分布式哈希表等技術(shù)也實現(xiàn)對基于大數(shù)據(jù)的信息系統(tǒng)的可靠管理。分布式的數(shù)據(jù)處理系統(tǒng)的主要數(shù)據(jù)處理技術(shù)包括批處理技術(shù)和流處理技術(shù)。批處理技術(shù)按照某一特定方式將大數(shù)據(jù)劃分為多個部分。劃分后的數(shù)據(jù)可以同時在多個處理器進行分析和處理批處理技術(shù)削弱了數(shù)據(jù)之間的關(guān)聯(lián)性，以達到增強數(shù)據(jù)可調(diào)度性的目的，其技術(shù)關(guān)鍵在于數(shù)據(jù)的劃分方式、分配方式以及處理技術(shù)而流處理技術(shù)則是將大數(shù)據(jù)視為連續(xù)的流，進入系統(tǒng)的數(shù)據(jù)能被實時處理并將結(jié)果返同。流處理技術(shù)顯著地提升了系統(tǒng)的時效性。

2. 2分布式文件管理技術(shù)

傳統(tǒng)的文件管理技術(shù)在存儲和管理大數(shù)據(jù)時的表現(xiàn)難以讓人滿意。因此，針對大數(shù)據(jù)信息系統(tǒng)設(shè)計的分布式文件管理技術(shù)在各大互聯(lián)網(wǎng)企業(yè)中己經(jīng)得到了應(yīng)用，并且收到了不錯的效果其中，Google提出的GFS文件管理技術(shù)以大量低成本服務(wù)器為基礎(chǔ)，組建了一個具有較高拓展性的文件管理系統(tǒng)。大量數(shù)據(jù)

被分塊存儲到不同的服務(wù)器中，并通過關(guān)聯(lián)鏈接等方式進行管理由于該技術(shù)在存儲和讀取大數(shù)據(jù)時效率較低，多種類GFS技術(shù)采用了增加緩沖層的方式以提高數(shù)據(jù)的存儲和讀取速度。

除上述技術(shù)以外，基于大數(shù)據(jù)的信息系統(tǒng)的關(guān)鍵技術(shù)還包括數(shù)據(jù)挖掘技術(shù)、稀疏處理技術(shù)等。

三、結(jié)語

大數(shù)據(jù)的潛在價值己經(jīng)得到了業(yè)內(nèi)人士的廣泛關(guān)注和認(rèn)可，研究基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)不僅與信息產(chǎn)業(yè)的發(fā)展密切相關(guān)，而且將在一定程度上影響整個國家的發(fā)展戰(zhàn)略。隨著信息技術(shù)的不斷發(fā)展和數(shù)字化進程的不斷推進，大數(shù)據(jù)信息系統(tǒng)必然會對整個人類社會產(chǎn)生深遠(yuǎn)的影響。