2015年, 大數據 市場的發展迅猛,放眼國際,總體市場規模持續增加,隨著人工 智能 、 物聯網 的發展,幾乎所有人將目光瞄準了“數據”產生的價值。行業廠商Cloudera、DataStax以及DataGravity等大數據公司已經投入大量資金研發相關技術,Hadoop供應商Hortonworks與數據 分析 公司New Relic甚至已經上市。而國內,國家也將大數據納入國策。
我們在年底盤點了2015年大數據行業九大關鍵詞,管窺這一年行業內的發展。
①BI——挑戰
2015年對于商業智能(BI)分析市場來說,正由傳統的商業智能分析快速進入到敏捷型商業智能時代。以QlikView, Tableau和SpotView為代表的敏捷商業智能產品正在挑戰傳統的IBM Cognos 、SAP Business Objects等以IT為中心的BI分析平臺。敏捷商業智能產品也正在進一步細化功能以達到更敏捷、更方便、適用范圍更廣的目的。
②國家政策——戰略
今年中國政府對于大數據發展不斷發文并推進,這標志著大數據已被國家政府納入創新戰略層面,成為國家戰略計劃的核心任務之一:2015年9月,國務院發布《促進大數據發展行動綱要》,大力促進中國數據技術的發展,數據將被作為戰略性資源加以重視;2015年10月26日,在國家“十三五”規劃中具體提到實施國家大數據戰略。
③深度學習/機器學習——崛起
人工智能如今已變得異常火熱,作為機器學習中最接近AI( 人工智能 )的一個領域,深度學習在2015年不再高高在上,很多創新企業已經將其實用化:Facebook開源深度學習工具“Torch”、PayPal使用深度學習監測并對抗詐騙、亞馬遜啟動機器學習平臺、蘋果收購機器學習公司Perceptio ……同時在國內,百度、阿里,科大訊飛也在迅速布局和發展深度學習領域的技術。
④Sort benchmark 阿里云 ——最快
阿里云在Sort Benchmark(全球科技公司“計算奧運會”之稱)的2015年排序競賽中用不到7分鐘(377秒)就完成了100TB的數據排序,打破了Apache Spark的紀錄23.4分鐘。
⑤Spark——共存
Spark近幾年來越來越受人關注,2015年6月15日,IBM 宣布投入超過3500名研究和開發人員在全球十余個實驗室開展與Spark相關的項目。
與Hadoop相比,Spark具有速度方面的優勢,但是它本身沒有一個分布式存儲系統,因此越來越多的企業選擇 Hadoop 做 大數據平臺 ,而 Spark 是運行于 Hadoop 頂層的內存處理方案。Hadoop 最大的用戶(包括 eBay 和雅虎)都在 Hadoop 集群中運行著 Spark。Cloudera 和Hortonworks 將 Spark 列為他們 Hadoop發行的一部分。Spark 對于 Hadoop 來說不是挑戰和取代相反,Hadoop 是 Spark 成長發展的基礎。
⑥Pivotal——開源
2015年2月,Pivotal宣布其大數據套件的三個核心組件開源:基于內存的分布式NoSQL數據庫GemFire、基于 Hadoop架構 的大規模并行SQL 分析處理引擎HAWQ、大規模并行處理分析數據庫Greenplum。
Pivotal開放其大數據套件核心組件的源代碼,最主要原因是Cloud Foundry開源戰略成功驅動,部署大數據戰場。
⑦Palantir——神秘&多金
2015年7月起Palantir開始發起新一輪融資,達到8.8億美元,截止目前已經共計融資23.2億美元,公司估值200億美元,排名世界第四,僅次于Uber。
Palantir是一家位于加州的大數據科技公司。該公司的技術是在海量信息之間建立聯系、尋求有價值的線索,為情報機構提供結論:在摩根大通內部用于定位網絡欺詐,在橋水聯合基金,Palantir被用來管理1570億美元的投資基金。該公司曾經幫助美國政府追蹤基地組織頭目奧薩馬·本·拉登。由于其主要客戶是政府機構,外界對它的內部狀況了解不多。
⑧DBaaS——火爆
隨著Oracle 12c R2的推出, 甲骨文 以全新的多租戶架構開啟了DBaaS(Database-as-a-Service,數據庫即服務)新時代,新的數據庫讓企業可以在單一實體機器中部署多個數據庫。在2015年,除了趨勢火爆,12c多租戶也在運營商、電信等行業投入生產應用。
據分析機構Gartner預測,2012年至2016年公有數據庫云的年復合增長率將高達86%,而到2019年數據庫云市場規模將達到140億美元。與傳統數據庫相比,DBaaS能提供低成本、高敏捷性和高可擴展性等云計算特有的優點。
⑨數據科學家——性感
隨著行業的發展,人才顯得尤為重要,各公司都期待數據科學專業人才能夠挖掘數據信息,來幫助公司開源節流。美國招聘網站Glassdoor的報告稱,數據科學家的平均年薪為118709美元(約合人民幣737550元),而程序員的平均年薪為64537美元(約合人民幣400974元)。
數據科學家能夠通過統計變成涉及、開發和調用算法而支持業務決策;管理海量數據;可視化數據以輔助理解。其需要具備三項基本技能:數學/統計、計算機能力、在特定業務領域的知識,被《哈佛商業評論》評委二十一世紀最性感的職業。