移動互聯網、物聯網、社交網絡、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。云計算為這些海量、多樣化的大數據提供存儲和運算平臺。

大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用于大數據的技術，包括大規模并行處理數據庫、數據挖掘電網、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

大數據的作用

第一，對大數據的處理分析正在成為新一代信息技術融合應用的結點。移動互聯網、物聯網、社交網絡、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。云計算為這些海量、多樣化的大數據提供存儲和運算平臺。

第二，大數據是信息產業持續高速增長的新引擎。面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬件與集成設備領域，大數據將對芯片、存儲產業產生重要影響，還將催生一體化數據存儲處理服務器、內存計算等市場。在軟件與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟件產品的發展。

第三，大數據利用將成為提高核心競爭力的關鍵因素。各行各業的決策正在從“業務驅動”轉變為“數據驅動”。對大數據的分析可以使零售商實時掌握市場動態并迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支持；可以幫助企業為消費者提供更加及時和個性化的服務；在醫療領域，可提高診斷準確性和藥物有效性；在公共事業領域，大數據也開始發揮促進經濟發展、維護社會穩定等作用。

第四，大數據時代科學研究的方法手段將發生重大改變。例如，抽樣調查是社會科學的基本研究方法。在大數據時代，可通過實時監測、跟蹤研究對象在互聯網上產生的海量行為數據，進行挖掘分析，揭示出規律性的東西，提出研究結論和對策。

大數據的處理

1.采集。大數據的采集是指利用多個數據庫來接收發自客戶端（Web、App或者傳感器形式等）的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。

在大數據的采集過程中，其主要特點和挑戰是并發數高，因為同時有可能會有成千上萬的用戶進行訪問和操作，比如火車票售票網站，并發的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數據庫才能支撐。如何在這些數據庫之間進行負載均衡和分片需要深入的思考和設計。

2.導入/預處理。雖然采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用Twitter的Storm對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鐘的導入量經常會達到百兆，甚至千兆級別。

3.統計/分析。統計與分析主要利用分布式數據庫，或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源會有極大的占用。

4.挖掘。數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測的效果，實現一些高級別數據分析的需求。比較典型算法有用于聚類的Kmeans、用于統計學習的SVM和用于分類的NaiveBayes。該過程的特點和挑戰主要是用于挖掘的算法很復雜，并且計算涉及的數據量和計算量都很大，常用數據挖掘算法都以單線程為主。