2016 年大數據領域會發生什么情況?考慮到如今在深層神經網絡和規范性分析方面取得的進展,你可能覺得這個問題很好回答。而實際上,來自業界的大數據預測大不相同,本文精選出了最值得關注的 33 個預測,為您開啟未知的 2016!
數據平民崛起
甲骨文公司預測一種新型用戶:數據平民(Data Civilian)會崛起。該公司稱:“雖然復雜的數據統計可能仍局限于數據科學家,但數據驅動的決策不會是這樣。在未來一年,更簡單的大數據發現工具讓業務分析員可以尋找企業 Hadoop 集群中的數據集,將它們重新做成新的混搭組合,甚至運用探索性機器學習方法來分析它們。
“大數據”會消亡
Nucleus Research 公司公開發表了不同意見,預測我們所知道的大數據會消亡。該公司稱:“在過去兩年,每家公司及其人員似乎都推出了某種形式的大數據解決方案。是該告別新奇事物綜合癥(shiny object syndrome)的時候了。用戶會像對待任何數據那樣對待和訪問大數據,而不是著手解決大數據分析這一項龐大又艱巨的任務。
風險投資公司更關注大數據給出的結論
據 Opera Solutions 公司的高級副總裁 Keri Smith 聲稱,由于風險投資公司往數據初創公司紛紛投入資金,是時候開始提出尖銳的問題了。Smith 問道:“大數據解決方案真正的投資回報率(ROI)如何?公司如何才能跨過部門級部署這個階段,讓大數據在整個企業創造的價值實現最大化?又有哪些有意義的使用場合適用于眾多垂直領域?要是貴公司現在沒有提出這類問題、積極尋求答案,應該很快就會。
機器學習和人的洞察力組合滲透新行業
Spare5 公司的首席執行官 Matt Bencke 表示,我們在 2016 年會看到數據絕地武士(Data Jedis)的興起。他寫道:“將來被人工智能改變的工作會比以往任何時候都要多,‘數據絕地武士’會變成最搶手的員工。機器學習和人的洞察力這對組合會滲透到新行業,包括醫療保健和安全行業,員工需要靈活適應以提供不同服務,不然就會落在后面。
數據科學在銀行界大放光彩
數據科學咨詢公司 Profusion 的首席執行官 Mike Weston 預測,數據科學在銀行界會大放光彩。他寫道:“金融業是率先采用數據科學技術/方法的行業之一。不過,所有銀行服務公司采用數據科學的步調遠遠沒有統一。2016 年,我預計這種局面會有所改變。更好地利用數據和服務個性化會從金融市場進入到零售銀行領域。這會給市場營銷、客戶服務和產品開發帶來深遠影響。”
人工智能和認知計算讓個性化醫療成為現實
先進的人工智能引起機器人成為統治者,這種場景嚇壞了 Elon Musk。不過據 Franz 公司的認知科學家兼首席執行官 Jans Aasman 聲稱,應該將人工智能歸為“友好的技術”這一列。他說:“2016 年及以后,人工智能和認知計算將使個性化醫療成為現實,幫助拯救患有罕見疾病的病人,并改善整體的醫療保健狀況。”
首席數據官將成為信息技術領域的“新寵兒”
Blazent 公司首席技術官辦公室負責人 Michael Ludwig 認為,首席數據官(CDO)會成為信息技術領域的“新寵兒”,永遠讓辦公室政治更顯錯綜復雜。他寫道:“正是由于大數據很復雜,又需要完整而準確的數據,首席數據官會變得越來越重要。因而,首席技術官和首席信息官需要給首席數據官讓出地方,除非確立了明確界定的角色,并成立了相關團隊,否則高層管理團隊當中會出現緊張局勢。”
首席洞察官成為大數據整理過程的關鍵領導者
但不是每個人都這么認為,其中包括 PROS 公司的首席遠見官 Craig Zawada。“2016 年,我們會開始看到被任命的首席數據官日漸式微,這是過去的一種角色。相反,2016 年會出現首席洞察官,這類人將成為大數據整理過程中的關鍵領導者。”
云服務被充分利用
但是頗有勢力的 CIO 能重新發號施令嗎?Cazena 公司創始人兼首席執行官 Prat Moghe 預測會這樣。他寫道:“2016 年,CIO 們會充分利用企業就緒的云服務,作為中間人提供這樣的云服務,既滿足 IT 部門在治理、合規和安全等方面的要求,又滿足業務部門在敏捷性和響應能力等方面的要求。”
流分析逐漸成熟
DataTorrent 公司的首席執行官兼聯合創始人 Phu Hoang 預測,流分析(streaming analytics)會開始成熟起來,并在大數據陣營中證明其價值。他說:“雖然許多公司已經認可了實時流非常重要這一點,但我們會看到用戶希望更進一步,確定流分析使用場合。在接下來一年,使用流分析工具的客戶會變得更加成熟,要求流分析有明確的投資回報率。”
實時分析異常火爆
實時分析在明年會很火爆,這個我們懂。不過據 MongoDB 公司的戰略和產品營銷副總裁 Kelly Stirman 聲稱,一項技術:Apache Kafka 比其余技術更惹人注目。Stirman 寫道:“Kafka 將成為企業數據基礎設施的一個重要集成點,為構建智能分布式系統提供便利。Kafka 及其他流分析系統(比如 Spark 和 Storm)會補充數據庫,成為跨應用程序和數據中心管理數據的整個企業堆棧的關鍵部分。”
大數據讓娛樂更加“娛樂”
喜歡鼓樂?FirstFuel Software 公司的首席數據科學家 Badril Raghavan 表示,那么你一定會愛上 2016 年。“在今后幾個月,我們會看到企業和個人利用數據和分析工具,面對包括能源、體育、社會公益和音樂在內的眾多行業,提供個性化、引人入勝的體驗。比如說,人們將來可以利用數據,根據個人喜好(例如偏愛鼓樂)改編歌曲。”
物聯網影響半導體行業
物聯網會如何影響半導體行業?IT 傳奇人物 Ray Zinn 對此有幾點看法。他寫道:“你會看到設計和制造出現更明顯的分工。晶圓廠的使命就是擴大規模,服務于幾十億消費者和新興的物聯網市場。設計將會與制造脫離開來,分擔市場風險。創新將是設計公司的生存之道,而不斷提高效率才是晶圓廠的致勝秘訣。問題是,接下來會出現什么?到時難免會出現新的市場和設備,從而推動行業呈現新的井噴式增長。物聯網好比是沉睡的巨人,不過我覺得它只是在打盹而已。”
機器學習、大數據自動化和人工智能大放異彩
Infosys 公司高級副總裁兼平臺、大數據和分析部門主管 Abdul Razack 表示,機器學習、大數據自動化和人工智能在 2015 年大出風頭,明年會出更大的風頭。Razack 說:“2016 年,企業更廣泛地采用人工智能技術替代人工重復性任務的步伐會快速加快。”他提到,豐田公司最近往人工智能方面投入了 10 億美元。大數據自動化已經在發展,不過明年“會得到更廣泛的應用,人的獨特能力(即拿來復雜問題后給出創造性的解決辦法)顯得更重要。”特斯拉的無人駕駛汽車內置了機器學習技術,但明年,“機器學習會悄悄進入到千家萬戶,讓我們身邊的物件不僅僅是聯網而已。”
合并興起的關鍵年
許多人預計 2016 年大數據領域會出現激動人心的事情。Logi Analytics 公司的解決方案工程和服務副總裁 Charles Caldwell 卻不這么認為。“如果我展望 2016 年,并不覺得會出現許多激動人心的事情。其他廠商已給出了云計算、視覺分析和移動等方面的預測,但是那些大多是安定下來的舊趨勢。在我看來,2016 年會是合并興起和為下一大熱門打基礎的一年。”
副本數據管理(CDM)迎來春天
“最想象不到獎”授予 Catalogic Software 公司的產品營銷高級經理 Peter Eicher。我們倒不是指他的這一預測:副本數據管理(CDM)“是迎來大好時期的技術――不僅這個領域出現新廠商,老派廠商也在跟風,這就是最好的佐證。”這完全合情合理。不,我們之所以提名 Peter 是因為他的這一瘋狂預測:紐約尼克斯隊會奪得 NBA 總冠軍。他承認:“是的,結果不是。我不可能一直預測正確。不過話又說回來,這個預測已連續錯了 42 年。”
大數據泄密事件頻發
大數據領域的“沮喪的黛比”( Debbie Downer)獎授予 BlueTalon 公司的首席執行官 Eric Tilenius,因為他預測,大企業爆出大數據泄密事件的步伐可能會加快。他寫道:“2016 年,缺乏統一的數據治理,可能會導致企業界迄今面臨的最大的安全方面沖擊――這相當于移動技術的問世給傳統企業邊界帶來的沖擊。依賴支離破碎的方法來控制數據訪問,即面對不斷變化的數據格局采用不一致的政策,只會在企業數據保護方面留下大洞。”
微服務架構有所突破
你在搞微服務嗎?據 SaaS 廠商 Workday 聲稱,如果你現在沒搞,很快會搞。該公司聲稱:“很顯然,內部部署與云之爭已結束,云贏了。不過,并非構建的所有云架構都一個樣。微服務架構會突破 Netflix 等消費者互聯網設計領域,成為自向云轉變以來企業應用軟件領域最重大的架構進步。”
大數據分析擴大領域
TARGIT 公司首席技術官 Ulrik Pederson 表示,大數據有難度,許多公司在明年會竭力搞好大數據。他寫道:“2016 年大數據分析會擴大領域,一些工具讓企業用戶有可能在需要時對大數據執行全面的自助式探索,不需要 IT 部門的大力指導。對應于我的第一個預測,我預計先進分析項目在眾多行業會大幅增加。然而,這并不意味著它們會成功……要是聽到許多廠商和客 在成功實施項目上遇到困難,我也不會覺得驚訝。”
認知技術、數據科學會有進展
國際數據分析研究所(International Institute of Analytics)預測便于嵌入式分析的分析微服務會大行其道。這家獨立研究和咨詢公司還預測,認知技術、數據科學和數據精選等領域會取得進展。哦,該組織表示,由于許多大學開設新課程,分析人才危機有望得到緩解。
非數據專業人才也會投身大數據
OLAP-on-Hadoop 提供商 AtScale 公司的首席營銷官 Bruno Aziza 表示,不是數據專業人才的那些人也會積極投身于大數據。他寫道:“隨著 Hadoop 變得更容易被非數據專業人才訪問,營銷人員會開始訪問更多的數據,以便做出更合理的決策。可以借助 Hadoop 更深入更全面地了解數據,這讓營銷人員能夠洞察消費行為、從而做出決策,并了解客戶消費旅程背后的流程。”
高性能計算漸成主流
存儲巨頭 DDN 預測,我們會看到更多的高性能計算技術進入到主流,特別是由于它涉及存儲。該公司表示:“2016 年,來自高性能計算行業的存儲、數據管理和應用程序加速等技術會繼續以更快的速度被利用起來,以滿足企業對性能和規模越來越高的要求,因而會以更快的速度取代傳統的 IT 基礎設施。”
開源大數據遍地開花
開源大數據技術給你留下了深刻印象?Pentaho 公司的首席執行官 Quentin Gallivan 表示,你還沒有看到任何實際東西。Gallivan 寫道:“像 Spark、Docker、Kafka 和 Solr 這些很酷的新工具會遍地開花,這些新興的開源工具旨在能夠對 PB 級數據進行大規模大批量的分析,它們會從‘青春期’階段進入到‘壯年期’階段。”
Spark 淘汰 MapReduce,拯救 Hadoop
RDBMS-on-Hadoop 廠商 Splice Machine 公司的聯合創始人兼首席執行官 Monte Zweben 表示,Spark 會淘汰 MapReduce,但是會拯救 Hadoop。他寫道:“MapReduce 相當深奧。具有速度慢、批處理的特性,又加上非常復雜,因而對許多企業來說毫無吸引力。由于速度快,Spark 要自然得多,對程序員來說很方便。Spark 會給 Hadoop 注入活力;2016 年,基于 Hadoop 的項目十之八九會是與 Spark 有關的項目。”
云廠商發布自己的 Spark 平臺即服務解決方案
Snowflake Computing 公司的首席執行官 Bob Muglia 表示,但是這并不意味著每個 Spark 項目會涉及 Hadoop。“如今,Spark 是 Hadoop 發行版的一部分,與 Hadoop 有著廣泛的聯系。隨著 Spark 獨自行動,建立一個獨立的、有活力的生態系統,預計這種情況在 2016 年會發生變化。實際上,可以預計各大云計算廠商會發布各自的 Spark 平臺即服務(PaaS)解決方案。我們會看到 Elastic Spark 嗎?可能性很大。”
Apache Hadoop 將被重置,并非丟棄
Teradata 公司的企業系統總經理 Dan Graham 表示,企業組織會對 Apache Hadoop 進行重置處理。“隨著 Hadoop 及相關開源技術跨過收集知識的早期階段、炒作漸漸消退,企業會對部署的 Hadoop 按重置鍵、而不是丟棄,運用汲取的經驗教訓,尤其是治理、數據集成、安全和可靠性方面的經驗教訓。”
主數據管理(MDM)派上用場
雜物抽屜問題是 Hadoop 社區面臨的最大挑戰之一。但根本不用害怕――主數據管理(MDM)派得上用場!Reltio 公司的首席執行官兼創始人 Manish Sood 寫道:“MDM 會變得無處不在。長期以來,MDM 這門技術只有大公司才用得起,大公司擁有龐大的 IT 團隊,又有硬件、軟件和為期多年的實施項目所需的龐大預算。新一批數據驅動的應用程序會內置 MDM 作為基本要求。由于同時提供操作功能和分析功能,每個應用程序可靠的數據基礎由 MDM 引擎來支撐。”
Hadoop 將處于十字路口
2016 年,Hadoop 將處于十字路口,它會往哪個方向走?Altiscale 公司的首席運營官 Mike Maciag 給出了他的預測。“2016 年,我們會看到 Hadoop 行業標準得到鞏固。2015 年年初,我們看到開放數據平臺計劃(ODPi)正式啟動,該計劃制定了標準,為大數據生態系統的關鍵項目如何協同運行指明了方向。由于標準化給客戶帶來的好處變得更加顯而易見,ODPi 的成員數量在這一年翻番。我們預計,2016 年 Hadoop 會得到更大的發展和認可,讓新的技術和應用程序得以滿足由 ODPi 制定的 Hadoop 生態系統標準。”
物聯網 2.0 出現
Zebra Technologies 公司預測,我們會看到物聯網 2.0 出現。“物聯網市場會由過去的閉源、專有的第一代解決方案,變成更成熟、基于行業標準、可靈活適應的解決方案。借助開源方法,企業組織能夠從數量更多的服務提供商及其各自的 API 當中作一個選擇。”
后稀缺經濟(post-scarcity economy)日漸興起
OpenText 公司首席執行官 Mark Barrenechea 預測,物聯網可能預示著后稀缺經濟(post-scarcity economy)日漸興起。他寫道:“可以將算法想象成這種應用程序,對物聯網及我們生活中方方面面的數十億個互聯設備生成的彼此關聯的海量信息進行大數據分析。擁有數據、分析數據、改進和創新成為企業成功的關鍵――這一切得益于互聯數字化社會。”
生產工作負載與分析技術充分結合
MapR Technologies 公司的首席執行官 John Schroeder 預測,能夠同時處理分析型工作負載和事務型工作負載的融合平臺會迎來巨大飛躍。“2016 年,由于各大領先公司獲得將生產工作負載與分析技術結合起來,迅速調整,以適應客戶偏好、競爭壓力和商業環境所帶來的好處,我們會看到融合方法成為主流方法。這種融合加快了企業組織“從數據到行動”的周期,并縮短了數據分析到業務影響之間的時間差。”
小眾解決方案吃香
看好 2016 年會出現單一架構的另一個支持者是 Datameer 公司的首席執行官 Stefan Groschupf。他寫道:“某個技術類別是新類別時,會出現眾多公司,各自的產品旨在為這個領域的一小部分提供解決方案。這樣一來,客戶只好購買多個工具,試圖弄清楚如何結合使用這些工具。最后,這種方法根本行不通,客戶傾向于單一廠商提供的集成產品架構――或者覆蓋范圍廣泛的產品。2016 年將標志著大數據產品開始出現這種轉型。”
外包大行其道
大數據服務提供商 Absolutdata 公司的首席執行官 Anil Kaul 預測,外包在 2016 年會大行其道。他寫道:“我們可以從大數據獲得眾多有價值的信息,可是訪問這些信息頗具挑戰性,而且通常不在平常商業智能的范圍之內。如今許多公司在與第三方合作,制定并執行大數據分析策略。將外部專家整合到大數據團隊當中,也許是公司在這個迅速變化的領域保持領先一步的最佳途徑。”