前言
不知不覺間，2016年已然過去，2017年已經到來。驀然回首，我們發現在過去的一年，大數據和人工智能領域的發展讓我們眼花繚亂，應接不暇，待我為大家梳理一番。
標志性大事件
Apache Hadoop at 10：Hadoop誕生10年了。2006年1月28日，Doug Cutting和Mike Cafarella從他們的開源網絡爬蟲項目(Apache Nutch)中分離出分布式文件系統以及MapReduce設施，把它當作一個子項目，并稱其為Hadoop。Cutting發表了他動情地回顧了自己與Hadoop故事，并提出了對未來的展望
人工智能再顯身手，谷歌AlphaGo戰勝李世石：Google旗下DeepMind出品的AlphaGo連勝三局(五局三勝制)戰勝韓國職業棋手圍棋九段李世石。這將是人工智能領域的又一里程碑事件。另外，2016年底，神秘的Master給我們帶來了精彩續集：60勝0負!谷歌承認Master是AlphaGO
大數據技術繼續蓬勃發展
以Hadoop和Spark為代表的大數據技術生態系統繼續發展壯大。
Hadoop 3.0新特性預覽：Hadoop 3.0中引入了一些重要的功能和優化，包括HDFS 可擦除編碼、多Namenode支持、MR Native Task優化、YARN基于cgroup的內存和磁盤IO隔離、YARN container resizing等
Apache Spark 2.0.0 發布，APIs 更新：Apache Spark 2.0.0發布了，Apache Spark 是一種與 Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載
Apache Beam將統一大數據平臺的開發：一直以來，大數據開發涉及到各種框架，比如，Hadoop、Storm、Spark和Flink等，基于這些框架的開發要求的技術棧都各不同，這對開發者來說開發成本比較高，在Beam的統一下可以實現寫一個程序既能在Hadoop中運行又可在Spark中運行
巨頭相繼開源機器學習框架
Facebook開源深度學習框架 Torchnet，相比其他巨頭自己搭建的深度學習框架，Torchnet 更加開放，也將大幅推進深度學習的應用普及
LinkedIn開源機器學習庫Photon：Photon機器學習支持Apache Spark，通過結合Spark快速處理海量數據的能力和強大的模型訓練和診斷工具，Photon機器學習提供給研究型工程師更多的信息來決策使用哪類推薦系統算法
Microsoft開源其深度學習工具包CNTK：CNTK是一個統一的深度學習工具包，它通過一個有向圖將神經網絡描述為一系列計算步驟。在有向圖中，葉節點表示輸入值或網絡參數，邊表示輸入之上的矩陣運算。CNTK使得實現和組合前饋型神經網絡DNN、卷積神經網絡(CNN)和循環神經網絡(RNNs/LSTMs)變得非常容易。實現了支持跨多個GPU和服務器自動分化和并行化的隨機梯度下降(SGD)學習
亞馬遜AWS推出人工智能服務：與微軟谷歌競爭：亞馬遜舉行發布會宣布，旗下云服務Amazon Web Services(以下簡稱“AWS”)增加人工智能服務，可以讓開發者在應用中增加預測和分析功能
Google已經于2015年底開源TensorFlow，并于2016年繼續完善
巨頭競相收購人工智能公司
Google，Facebook，Microsoft相繼表示，未來將更加重視AI，除了開源了以上的機器學習框架，還分別投入巨資收購了一些人工智能公司和人才。
Google, Facebook, Amazon, Apple的人工智能之爭——收購AI開發團隊：在過去的三年內，已經有超過六成的人工智能開發公司陸續獲得了贊助。就僅僅在 2016年，已經出現了4次重要的大型公司競購
微軟大手筆收購LinkedIn讓谷歌壓力山大，這個搜索巨頭將選擇如何應對?：收購LinkedIn后，微軟相當于為自己的軟件推銷策略找到了一個能夠加快“變現”的強大助力——一個容納了超過400萬用戶的社會數據集
李飛飛加入 Google，擔任云計算機器學習負責人：雷鋒網消息，世界人工智能頂級專家李飛飛被曝已與谷歌達成協議，將加入谷歌云計算業務新成立的機器學習部門 (Google Cloud Machine Learning)
國內的發展
大數據技術
以華為，百度，阿里為代表的巨頭在開源領域紛紛取得巨大進展。
Apache Storm 2.0將基于JStorm。JStorm是中國第一個進入Apache核心產品的開源項目，對于中國的開源發展來說意義重大
阿里巴巴向 Apache 軟件基金會捐贈消息中間件 RocketM：11 月 28 日，阿里巴巴宣布將開源分布式消息中間件 RocketMQ 捐贈給 Apache，成為 Apache 孵化項目，孵化成功后 RocketMQ 有望成為國內首個互聯網中間件在 Apache上 的頂級項目，成為全球繼 ActiveMQ，Kafka 之后，分布式消息引擎家族中的新成員
百度開源其人工智能系統：Warp-CTC：該系統是一種在CPU和GPU上快速的CTC的并行實現。這項舉動舉動對于促進機器學習、人工智能領域的技術研究與發展與有重要意義
華為Carbondata成為 Apache Incubator(孵化器)項目》：Carbondata的目標是創建一種新的Hadoop文件格式，只用一份數據，滿足多樣化的數據查詢需求，包括順序讀，OLAP查詢，隨機讀
人工智能
2016年可以說是人工智能真正成為主流的元年，人工智能成為了非常熱門的概念。AlphaGo大戰李世石等事件，甚至引發了一些機器人取代人、危害人等消極觀點。
巨頭搶灘無人駕駛 “按捺不住”的百度將在美國測試無人車：百度首席科學家吳恩達接受采訪時稱，百度很快就將在美國測試無人駕駛汽車，希望能在2018年前推出無人駕駛商用車型
京東成立JDX事業部 包含無人機及倉儲機器人項目：京東JDX事業部囊括京東全自動物流中心、京東無人機、京東倉儲機器人及京東自動駕駛車輛送貨等一系列智能物流項目，對行業前沿、高端的智能設備、智慧系統進行研究與創新
科大訊飛4.96億元收購樂知行，推動大數據與人工智能結合：公開資料顯示，北京樂知行軟件有限公司成立于 2011年，是一家為中小學教育提供教育信息化整體解決方案的提供商。該公司利用云計算、大數據和移動聯網技術，建立包括了數字校園、教育云平臺、互聯網教育和教育物聯網在內的四大產品體系
其他的進展
2016是無人駕駛轉折年：科技巨頭紛紛入場：2016年，無人駕駛逐漸成為“風口”，各大車企和創投都將目光投向這一領域。無人駕駛，讓科幻片中才有的黑科技似乎一下子離大眾或許只有幾步之遙
現在Google制造自己的芯片，Intel要發瘋：Google的目標始終未變：空前的高效。為了讓AI技術躍上一個新高度，他們需要一種能在更低能耗前提下，用更短時間完成更多任務的芯片。但這個芯片所產生的效果已經超越了Google帝國本身，甚至讓Intel和nViaia這樣的商業化芯片制造商的未來受到威脅，尤其是考慮到Google對于未來的愿景
英偉達20億美元豪賭人工智能：20億美元是什么概念?英偉達去年全年的營業收入也才50億美元出頭，所以英偉達用了幾乎一半的全年收入投入到這一款芯片的研發中，這背后的原因是，英偉達看中了人工智能領域未來的發展
京公網安備 11010502049343號