大數據帶來了什么?

S君發現最近在百貨刷卡的時候，手機馬上會收到一條短信告訴她現在已經具備了9元看電影的權益，到附近的影院就可以體驗，也可以到附近的星巴克享受9元積分來換一杯咖啡。這就是大數據帶給我們生活的便利。

這個例子是用戶行為分析的典型應用，該場景現有的IT技術(傳統的關系數據庫)不能進行很好的展現，這需要一個更智慧、更寬廣且能夠處理混合數據的平臺支撐。

僅僅幾年時間里，大數據技術就從之前的炒作階段逐漸發展成為新數字時代中的核心技術之一。2014年，企業內部的大數據計劃慢慢地從測試階段走向研發和生產。

2015年，企業的大數據技術將會進一步推進，并向前發展，并且會產生更多的用戶案例，尤其是實時用戶案例。

2015年，企業和相關的組織機構將進行大數據的部署工作，并推進到實際的應用中。這主要是由目前業界所發生的一個重大轉變所推動的結果，即當前這個行業里的領導者，以及即將成為這個行業里新的領導者都已經將新的大數據平臺同他們的“運行”數據分析進行了整合，以便對其業務產生一定的影響。”

2015年主宰大數據技術的發展趨勢

1.數據的靈活性成為焦點

隨著傳統數據庫(database)和數據倉庫(data warehouse)的運行越來越緩慢，并很難滿足企業業務的發展需要，數據的靈活性就成為了推動大數據技術發展的一個重要推動力。2015年，隨著企業逐漸從簡單地收集和管理數據過渡到真正使用這些數據，數據靈活性將越來越重要。

傳統數據庫和數據倉庫運行成本很高，因此DBA(數據庫管理員)資源需要對數據進行扁平化和結構化處理。高DBA的預付成本阻礙了對新數據資源的接入，同時這種嚴格的架構短時間內很難改變，其最終的結果導致傳統數據庫變得不夠靈活，不能滿足當前大多數企業或組織機構的需求。”

早期的大數據項目專注于對目標數據資源的存儲，而對于有多少數據被管理則并不是非常在意，對此企業在今后需要將其注意力轉移到測評數據的靈活性上。如何處理或分析數據，以便對運營產生一定的影響?當用戶偏好，或市場情況、競爭趨勢，以及運營狀態發生變化時，企業該如何調整和應對?這些問題都將引領2015年大數據項目的投資和發展范圍。

2.企業逐漸從數據湖轉向數據處理平臺發展

某種情況來說，2014年的大數據領域實際上就是一種“數據湖(data lake)”的狀態，一種基于對象的數據存儲方式將收集來的數據以其最原生的格式(結構化的、非結構化的或半結構化的)存儲下來留作日后使用。“數據湖”具有很高的價值定位，它代表了一種可擴展的基礎架構，非常經濟且超級靈活。

隨著多計算和執行能力的加強，將推動企業從大量收集數據轉變為適當地處理數據，2015年“數據湖”將會繼續演進。這不僅會帶來更大的效率，同時也產生了單點管理和單點安全。

2015年，隨著企業數據的分批處理到實時處理的變化，以及企業整合Hadoop和數據庫到其大規模處理平臺上，“數據湖”會得到進一步的發展。換句話說，這一趨勢并不是指“數據湖”里大規模用來支持更大的查詢和報告的數據存儲，而是對數據的持續訪問和處理，同時企業將會更多地關注實時數據，并采取主動措施。

3. Hadoop將成為企業的關鍵應用組件

Hadoop在普及的過程中，大數據也不會再繼續止步于云服務，而是部署于企業的云平臺中和云服務有效的結合，并且發揮更重要的力量和作用。2015年，Hadoop的適用場景將超越批處理和海量數據存儲，在數據挖掘、深度學習和用戶服務等領域發力，在這一進程中將成為企業數據架構中通用的核心組件，這意味著數據分析、決策支持將繼續成為大數據的首要用例和重要應用。

企業可以用大數據來做什么呢?

比如某銀行，將客戶使用信用卡加油與吃飯的信息關聯起來進行分析，通過數據的挖掘，卡中心發現，在周末18：00之前加油的客戶，有60%會去吃飯;再結合LBS信息，分析客戶就餐區域，發現其中70%有去中心城區吃飯的習慣。于是信用卡中心與中心城區的某烤肉店合作，在每個周末17：30的時候，向駛出加油站的客戶，打出這樣的手機廣告：”物超所值，美味、環境優雅，價格適中，朋友聚會的理想場所，持銀行卡可享五折優惠!”

這種服務就讓卡的用戶感覺到非常貼心，走進了用戶的心里，覺得這個卡是真的懂他!

這是一個典型的企業大數據應用，在2015年，還會有更多的大數據企業級應用和新的商業模式出現。

[page]

4.Hadoop加強支持實時應用和得到企業級強化

未來1年建立在Hadoop平臺上的交互式應用程序將呈爆發式增長，其中包括Web應用、移動應用和社交應用，人們可以與之進行實時的交互。

2015將加強支持實時的大數據應用，企業將不會局限于處理分析歷史數據，而是將有能力處理、決策5分鐘，甚至是實時的數據;企業將擁有交互式應用程序，以便實時的制定決策。

同時，Hadoop已經是個了不起的平臺，但是仍然有許多工作要做。在2015年，將看到Hadoop向安全、運營管理、資源管理及多站點響應方向發展;將看到所有的企業級需求，將是未來主要的焦點。

5.新的技術堆棧

2015年，隨著企業架構師對Hadoop技術堆棧不斷深入地了解，他們也慢慢地發揮著重要的作用，即對大數據應用的需求進行了更好地的定義和更加復雜的陳述，其中的一些因素包含了高可用性和業務連續性。

隨著企業在數據中心中迅速地從試驗階段走向實際部署階段，企業架構師開始走到前臺來，并在大數據部署的道路上發揮著重要作用。IT領導者選擇基礎架構方面也發揮著至關重要的作用，所選擇的基礎架構需要滿足SLA的要求，并具備高可靠性、業務連續性，同時滿足重要的業務需求。在2014年，Hadoop生態系統一直蓬勃發展，并產生大量的應用、工具和組件。預計2015年，該市場將關注跨平臺之間的差異性，同時企業的基礎架構中也將整合Hadoop到數據中心中去，并產生一定的商業價值。

6.Hadoop供應商整合 新商業模式出現

2013年，英特爾發布了其Hadoop的分發版，這在業界引起了不小的轟動。英特爾表示在這個分發版中，他們采用了一種全新的方法，可以直接將Hadoop整合到芯片中。但是僅僅一年之后，英特爾就放棄這一分發版，并迅速被Hadoop分發版供應商Cloudera替代。

那時候，英特爾表示，用戶都在關注Hadoop市場將如何發展、發展成什么樣。而Hadoop產品的供應商也是多種多樣、魚龍混雜。隨著失敗的企業不再繼續發展和推出其Hadoop分發版，轉而關注其他領域，在2015年Hadoop供應商整合將會成為一種趨勢，持續進行。

開源軟件(OSS)的使用到目前為止已經有20年的時間了，而且它給整個市場也帶來了巨大價值。技術的發展成熟需要幾個階段。技術的生命周期是以創新和開發高度差異化產品為開始，再以產品最終走向商業化為結束。被譽為“關系數據庫之父”的Edgar Frank Codd在1969年提出了“關系數據庫”的概念，1986年，甲骨文借助這一創新概念的發展成功上市。同時，這一創新概念也促進了1995年第一個MySQL發放版的商業化進程。所以，從歷史的角度來看，數據庫平臺技術從最初的創新到最后的商業化，經歷了26年的時間走向成熟。

目前，Hadoop還處于技術成熟周期的早期階段，從谷歌發布富有影響力的MapReduce白皮書至今僅僅過去了10年的時間。自最初的概念提出發展到現在的10年里，Hadoop得到了全球范圍內的部署和使用，并大大的超過了其他數據平臺。目前，Hadoop還是處于創新階段，所以供應商采取“Red Hat for Hadoop”策略的這種現象在市場也仍然存在，其中最明顯的是英特爾，其次是EMC Pivotal。

2015年業界將會看到一個新的、更加微妙的OSS模式的演進，這一新模式的演進和發展將社區發展與深度創新結合到了一起。開源社區是創建標準和達成共識的一個重要區域，而競爭則是促進Hadoop從最初的分析處理器向全功能數據平臺發展、演變的加速器。

未來的大數據是什么樣的?

物聯網?以云平臺、大數據技術為主支撐的智能家居?還是超級人工智能?

想想這樣一個場景：當你疲憊了一天，回到家里，點點手機窗簾就自動關上，再點點手機燈就亮了，在回來的路上憑借一個大數據的服務應用已經把飯做好，吃完飯后洗澡水也已經放好…….手機操控著家中的一切，恐怕這是很多人夢寐以求的未來智能家居吧。

毋庸置疑，大數據帶給我們的是越來越多的便利。數據挖掘、深度學習憑借著大數據技術和后臺云平臺的支持也會帶給我們越來越好的服務。在2015年，還會有更多的大數據服務和新的解決方案出現。

[page]

7. R將取代傳統SAS解決方案

在2013年，cloudera公司發布了hadoop平臺的R接口，大大促進了在haddop生態系統里的R應用。隨著R語言越來越廣泛的被使用以及其在機器學習、數據挖掘等領域的出色表現，基于R編程語言的分析將被選為數據科學家的“御用”模式，這種分析在2015年將成為主流，并且替代傳統的SAS及SPSS模式。市場顯示，超過200萬用戶和300萬的分析師都在尋找更好的解決方案，R恰逢其時。

8. 服務大數據成為主流

隨著大數據工具和服務的發展，2015年，IT行業將逐漸緩解發展瓶頸的局面，許多商業用戶和數據科學家將會借助相關工具和服務訪問大量數據。

2015年，自助服務大數據將成為IT行業的一種趨勢，它允許商業用戶可以通過自助服務接觸大數據。自助服務還可以幫助開發者、數據科學家和數據分析師直接進行數據探索和處理工作。

在此之前，IT行業要求建立一種集中的數據結構，但是這非常消耗時間和成本。針對某些用戶案例，Hadoop可以幫助企業適應structure-on-read這種結構模式。一些先進的組織機構將會通過數據綁定的運行模式而非集中的結構來滿足持續的需求。這種自助服務模式將促進企業更好地利用新的數據資源，同時又能夠抓住新的市場機遇，應對問題和挑戰。

綜上所述，未來幾年，在基于云的大數據分析解決方案上的開支，增速是現有解決方案投資的3倍，混合型部署將成為一項要求。可視化數據發現工具是其他業務智能市場板塊增速的2.5倍，預計將來，這方面的投資將會讓終端用戶自主服務成為所有企業的要求。2

2015年，統一數據平臺架構將成為大數據分析戰略的基礎，平臺集成了高級分析和預測分析的應用，包括機器學習，將在2015年有所加速，比不具備這些功能的應用增長速度高出65%。

另外，預計70%的大型企業機構會購買了外部數據，到2019年這個比例將達到100%。越來越多的企業機構將通過出售數據或者提供有價值的附加內容實現數據的貨幣化。同時，到2015年，對事件流持續分析的技術普及將有所加速，它可運用于物聯網分析，預計其5年復合年增長率為30%;決策管理平臺的復合年增長率將達到60%。

到2015年，富媒體分析至少會翻三番，作為大數據分析技術投資的關鍵推動因素。未來，半數的消費者在日常生活中都會用到基于認知計算的服務。