在北美,早些年是IBM Cognos、OracleOBIEE、SAPBO等一些傳統BI產品占據市場主流,隨著商業智能的發展,Tableau、Qlikview等敏捷BI產品開始興起,到現在Tableau、Power BI等敏捷BI產品成為了主流。
我們從“Gartner 2018 BI與數據分析魔力象限”中可以看出,敏捷BI產品的出現,已經扭轉了商業智能的市場格局,并且成為了市場的不二之選。
敏捷BI魔力象限圖變化不大,但更好的廠商會在21世紀的第二個十年出現并成為領導者。
《Gartner 2018 BI與數據分析魔力象限》中提到了一些關鍵技術趨勢,如增強分析、數據擴展性和模型復雜度、嵌入功能等關鍵技術,而Tableau、Qlikview它們在這些關鍵技術的研發投入,以及研發的進度等,目前還是未知的。
由于他們在這些領域的進展尚未給企業創造價值,也就沒有在商業智能領域形成強大的競爭力。但是這些關鍵技術會真正的去改變數據分析的下一個10年,然而下一個10年的BI領導廠商是否依舊是Tableau、Qlikview,目前還無法判斷。
因此,我預測在將來,可能會出現兩三家創新型BI廠商,他們將在關鍵性技術領域取得重大突破,從而更好幫助客戶進行數據分析。
我預測創新型BI廠商可能在21世紀第二個10年,也就是2020年出現,成為行業領導者。
AI將成為商業智能的重要組成部分。
從本質上來講,數據分析的目標是幫助客戶從數據當中獲取洞察力,創造價值,而AI作為商業智能中的關鍵技術,它圍繞的目標并沒有發生變化,還是怎么樣幫助到客戶,尤其是對于企業中的絕大多數業務人員,通過AI幫助他們從數據當中獲取洞察、實現更精準的趨勢預測和輔助決策,提高企業競爭力以及提升企業的運營效率。
在國內,永洪科技是第一個推出本土市場的AI平臺,在AI的技術研發上會持續投資,我們堅信這些關鍵技術的投入會讓我們更好的幫助到各行各業客戶。
業務人員將成為商業智能的核心用戶群體。這在5年以前是難以想象的,但現在已經變成了現實。
五年前,主要還是IT人員在做數據建模和數據分析,再推送給業務人員。最近兩年,我們代表永洪科技與各行各業的客戶探討商業智能,并已經與上千家中大型企業形成了實質性的合作。
我觀察到了一個明顯的趨勢——自服務BI成為國內的中大型企業面向業務人員的首選數據分析工具,比如能源、電信這些行業,他們對自服務分析看得越來越重,而且不斷有采購的需求。
雖然業內有很多號稱支持自服務分析的平臺或產品,但是背后還需要做很多工作,例如如何處理用戶的錯誤點擊、如何規避無IT背景用戶使用大數據時的不正當操作給平臺帶來巨大的消耗和沖擊、如何確保企業最重要的資產即數據的安全和管控、以及如何確保高并發下整個平臺的穩定性等難題。
我們的一站式大數據分析平臺Yonghong Z-Suite較好地解決了以上困境,成為了眾多企業業務人員的日常數據分析工具。
中國BI產品將會進入全球市場,在這一領域我們走在前面。
中國的商業智能領域是一個充分競爭的市場,它不具備行業保護,也沒有形成很大的壟斷,我們從成立的第一天,就開始跟IBMcognos、OracleBIEE、SAPBO等BI廠商去競爭,到后來我們又開始跟Tableau、Qlikview、PowerBI等企業競爭。
要超越同行,一是產品功能足夠強大;二是要持續在研發領域投入并形成優勢;三是要有非常強的市場和行業洞察和服務能力,一定要為客戶創造價值。
而永洪在產品、研發、服務、市場等方面投入了大量的人力、物力和財力。除此之外,我們還在AI、Big Data、一體機等領域持續不斷地加大技術上的研發以及資金投入。
在國內,Yonghong是第一個推出敏捷BI平臺的企業,是第一個推出自服務數據分析平臺的企業,也是第一個推出本土AI平臺的企業。我們連續三年被主流媒體和權威機構認定為最佳敏捷BI廠商,已經取得了初步的認可,來自各行業的客戶非常認同永洪的技術積累、業務積累和行業洞察。
我們相信在這個領域會有越來越多的中國BI產品走進全球市場,數百家中國五百強和世界五百強和領袖企業選擇永洪作為數據技術的合作伙伴。我們在這一領域走在前面,這是一個長跑,還需要在未來持續投入,幫助客戶從數據中獲取洞察,為客戶創造價值。
以下是《Gartner 2018 BI與數據分析魔力象限》報告原文,歡迎大家解讀。
綜述
基于云部署的現代商業智能與數據分析平臺正在逐步占據主流市場。隨著市場上產品的易用性和智能分析方面的創新,數據與分析領導者開始升級傳統解決方案,擴大新供應商的產品組合。
戰略計劃構想
到2020年,智能分析是一種包括自然語言搜索、智能數據預處理、自動化深入分析和以可視化為基礎的數據挖掘功能的分析方式,它將成為推動商業智能、分析數據科學以及機器學習平臺和嵌入式分析購買市場的主要驅動力量。
到2020年,現代商業智能和數據分析平臺將會因為智能數據挖掘能力的不同而體現出差異化,擁有智能數據挖掘能力的平臺的用戶量將達到非此類平臺兩倍的增長率,而這也會給客戶帶來兩倍的商業價值的提升。
到2020年,自然語言處理和人工智能技術將成為90%的現代BI平臺的標準性能。
到2020年,50%的分析問題將通過使用搜索、自然語言處理和語音的方式生成,或者將被自動生成。
到2020年,一些平臺將為用戶提供內部和外部的數據目錄,與無法提供這些數據目錄的企業相比,他們將幫助客戶通過對數據分析的投資實現兩倍的商業價值。
到2020年,公民數據科學家的數量將比數據科學家的數量增長快五倍。
市場界定/概述
以可視化為基礎的數據挖掘技術決定了現代商業智能(BI)與數據分析平臺的特征屬性。傳統平臺的分裂浪潮始于2004年,現代商業智能與數據分析市場從IT為中心的記錄系統(SOR)轉向以業務為中心的現象已成為主流。
現代商業智能與數據分析平臺的工具具備簡單、易用的特性,并且支持全面的分析工作流程。在分析前期,新平臺不需要IT人員大量參與到預先準備數據模型的工作中來,在某些情況下,平臺會自動生成可復用的數據模型(請參閱《現代商業智能與數據分析平臺的技術綜述》)。
獨立的內存列引擎有助于探索,同時也可以快速建立原型。現代商業智能與數據分析平臺可以選擇性地從傳統的IT建模數據結構中獲取信息,以促進整個組織的管理和可復用性。許多組織可以通過敏捷的方式擴展IT模型化結構,并將其與新的多結構化數據源結合,從而幫助組織開展現代化工作。
與此同時,其他組織可以使用現代商業智能與數據分析平臺中的分析引擎作為傳統數據倉庫的替代品。這種方法通常只適用于數據源有限、數據量相對較小的中小型組織。數據湖和邏輯數據倉庫使用量的增加也與現代商業智能與數據分析平臺的能力相匹配,可以接受這些輕度模型數據源。
Gartner 在2016年重新修訂了BI和分析平臺的魔力象限,反映了此間長達十年的巨大轉變。多年來,向現代敏捷和商業主導分析的過渡現在已成為主流,并呈兩位數的增長態勢; 與此同時,自2015年以來,傳統商業智能的支出一直在下降,在當時,Gartner曾首次定義了這兩個細分市場。
最初,現代商業智能與數據分析市場的大部分增長都是由業務用戶推動的,通常是通過個人或業務部門的小額采購實現。然而,隨著這個市場的成熟,IT越來越多地(隨著商業用戶的影響力)參與主導擴展部署,作為擴大自助服務分析范圍的一種方式。
商業智能與數據分析的擁擠市場中,包括了從大型的技術廠商到由大量風險投資支持的創業公司等參與者。傳統商業智能平臺的供應商已經發展出新功能,包括現代的基于視覺的數據挖掘與管控等。
與此同時,新的供應商繼續發展最初被關注的敏捷性功能,將其擴展、發布和共享到更高的管理和擴展平臺。客戶的理想選擇是在單一平臺上同時擁有側重于可預測性并具有穩定性目標,以及探索性的,涉及實驗來解決新問題,并針對不確定性領域進行優化的兩種模式,并且能在兩種模式之間實現跳轉。
隨著以可視化為基礎的數據挖掘技術對傳統商業智能造成破壞性影響,第三波破壞已經開始以智能分析技術的形式出現,機器學習可以為日益增多的海量數據提供新見解。以智能分析為特色的供應商能夠更好地為他們的產品制定高價政策(請參閱“智能分析是數據分析的未來”)。
魔力象限專注于符合現代商業智能與數據分析平臺標準的產品,這些產品正是當今市場上主流產品。傳統企業報告平臺市場指南涵蓋了(由于IT預設數據模型的前期要求,或者以報告為中心的)不符合納入要求的現代標準的產品。
商業智能與分析平臺的5個用例與15個關鍵能力
5個用例:
· 以敏捷為中心的BI產品:這種平臺支持敏捷型的、IT化的工作流程,包括從數據到集中交付和管理分析內容,平臺具有自有的數據管理能力。
· 去中心化的分析:支持數據的自服務數據分析。可以為獨立的業務模塊和用戶提供分析支持。
· 數據挖掘管控:支持從自服務數據分析到自助創建數據分析管理頁面的工作流程,IT級的內容管控,而用戶內容生成、管理頁面和分析內容都是可復用和可升級的。
· OEM和內嵌式BI:支持數據分析流程以內嵌BI至一個流程或者一種應用中來實現。
· 外部部署:支持為外部客戶或者公共領域、公民接入分析內容,流程類似以敏捷為中心的BI。
15個關鍵能力:
基礎設施
1. BI平臺的監管、安全與架構:平臺具有安全管理、用戶管理、平臺接入與使用的審計、調優和保障高可用性和容災的能力。
2. 云BI:具有平臺即服務和分析應用即服務的能力,可以同時在云端和本地部署、使用和管理數據分析報告和數據分析應用。
3. 數據源的連接和融合:讓用戶能連接到云端和本地化的結構化和非結構化的數據,包含支持不同類型的數據存儲平臺。
數據管理
4. 元數據管理:該工具能夠讓用戶利用數據包模型和元數據。實現這些功能需要提供一種強大且核心的方式方便管理者們去搜索、抓取、存儲、復用和發布元數據對象,比如維度、層級、度量、表現特性/核心指標 (KPIs)和報告布局等。平臺管理者們需要有能力去升級業務用戶創建的數據模型,將其提升為系統級的數據模型。
5. 自有數據的抽取、轉換、加載以及數據存儲:該系統有能力為連接、融合、轉換和加載數據至一個自有的功能引擎以及有能力去索引數據、管理數據加載以及更新計劃。
6. 自服務數據準備:平臺可“拖拽”不同來源的用戶數據集,可生成分析模型,比如根據不同數據來源的用戶可自定義度量、組合、集合和層級。高級功能包括對不同來源的數據通過機器學習、語義識別、智能聯結、智能側寫、層級生成、數據行數和數據混合等進行分析處理。
7. 可擴展性和數據模型的復雜性:平臺使內存中的引擎或數據庫內部體系結構能夠處理海量數據、復雜數據模型、性能優化和大量用戶部署等工作。
分析與內容創造
8. 內置的高級分析功能:讓用戶可以非常方便地接入高級分析功能,在自有平臺或者通過引入、結合外部高級模型進行分析。
9. 分析儀表盤:通過視覺探索和內置的高級地理空間分析能力去生成能夠被其他人使用的高交互性的儀表盤和內容。
10. 可交互的視覺化探索:使這種數據分析的探索可以借助可視化的選項,包括但不限于基礎的圖表形式,比如餅圖、柱狀圖、線圖等,也包括熱力圖和樹狀圖,地圖和散點圖以及其他特殊主題的圖表形式。這些工具能讓用戶通過百分比、細分和組合的展示情況去分析和操作數據。
11. 智能數據挖掘:幫助用戶在不通過查詢和建模以及寫算法的情況下自動挖掘、視覺化和敘述重要的分析發現,比如數據間的關聯、排除、集合、連接和預測等。
12. 移動端的數據探索和編程:通過利用移動設備的天然屬性,例如觸屏、照相功能和地理位置信息,讓客戶可以通過發布或交互的模式給移動設備升級和傳送內容。
成果共享
13. 嵌入分析內容:這種性能包含供應商提供的軟件開發工具包和API接口,支持用戶創建和修改分析內容,支持可視化展現和嵌入應用程序,可將其嵌入到業務流程、應用程序或門戶的開放標準中。
這些能力可以來自于外部的應用、或者被復用的分析基礎設施,但必須可以無縫的與內部應用連接,也不需要讓用戶在兩種系統間進行切換。這種能力讓BI與其他數據分析應用架構可以結合,讓用戶可以選擇在哪個業務流程中嵌入分析模塊。
14. 分析內容的發布、分享和結合:這些能力可以讓用戶通過不同的結果類型和分布方式去發布、配置和優化分析內容,同時也有對內容搜索的支持、計劃和預警的功能。
整體平臺能力
15. 便捷的使用和可視化展現,以及平臺能力和工作流:對管理者來說可以便捷的使用和部署平臺、生成內容、銷售內容以及與內容互動,同時也具備可視化展現的能力。對于單一的、無縫的產品,或者多個產品來說,需要基于怎樣不同的功能去適配這種融合的需求。
市場概況
2017年,數據分析和BI(商業智能)的市場增長率約為10%(排除匯率因素),正如Gartner對該其復合年均增長率的預測,到2021年底,其增長率將為8%。
數據分析和BI軟件市場的現代細分市場的發展速度一直都比整體市場要快:2017年增長率為28%,2021年為17%(排除匯率因素)。盡管軟件使用者正在努力拓展在用戶和產品內容方面的潛力,但價格下行壓力和市場飽和的情況將成為導致市場增速放緩的兩大因素。
今年的魔力象限中體現出的關鍵趨勢如下:
增強分析
根據2017年的魔力象限,許多錯過了可視化數據分析那波市場紅利的大軟件公司已經早早占據了以增強分析為代表的第三波技術機會的先機。
數據增強分析包括以機器學習為基礎的數據分析和BI功能,可以嵌入整個數據分析流程中的每一步中,包括數據準備、數據建模和結論生成。
交互模式也從原來單純的拖拽查詢模式向聲音、搜尋和以NLP算法為基礎的交互模式進化。通過用自然語言生成(NLG)來說明檢索結果,可視化的效果也得到了優化。無論是大軟件公司和初創企業都在其各自的增強分析技術發展路線圖上不斷前進著,盡管這一點尚未影響到主流市場,但消費者無疑可將之視為軟件公司正在迅速推進技術創新的一項明證。
此外,早期購買使用了可視化數據分析軟件的用戶正面臨著數據和用戶數據分析工作數量猛增的問題。隨著他們自己的分析平臺的成熟,這批用戶對下一波的技術革新的態度似乎是最為開放的,因為增強分析技術有望幫助使用者在數據復雜性不斷提高的情況下更快地得出最重要的分析結論。
數據擴展性和模型復雜度
隨著數據存儲的形式由單一的關系存儲向多元化的非SQL式的數據存儲發展,數據分析和BI平臺在提高數據擴展性和模型復雜度上所面臨的壓力越來越大。而且,隨著數據素養的提高,用戶開始提出需要調用復數數據源并進行菜單驅動的預測分析的、更為復雜的問題。
整個數據架構正變得越來越復雜,數據湖泊的數量和規模不斷增加,這迫使數據分析和BI系統的開發隊伍必須思考判斷在哪里、如何進行數據建模:是否要把數據復制到數據分析和BI工具的內部存儲空間里?復制數據對運算效率的提高能否抵消其帶來的負面影響?不同軟件之間在這些性能上依然有很大的差距。
有的軟件已經將數據擴展性和模型復雜度打造成自己的賣點(如MicroStrategy),而其他軟件公司還在努力應對這種趨勢:Tableau用Hyper取代了原來的數據抽取模式;Oracle在Oracle數據分析云中嵌入了多維數據庫(Essbase);而Pyramid Analytics為了滿足用戶的要求,干脆徹底重建了它的產品。
嵌入功能和社群賦能
嵌入式數據分析和BI依然還是一個重要的用例,因為用戶想要開發外聯網應用、使數據貨幣化并打造嵌入了數據分析和BI功能的整體商業應用。
這個市場的規模很難量化,因為其主要開發形式是以定制開發為主的。在最常被用于分析這一用例的魔力象限中的軟件公司中:Logi Analytics再次增加了一倍在該領域的投入;它還在Sisense的客戶用例中占比客觀。
嵌入式用例還可包括數據分析和BI軟件公司將有關內容嵌入到他們自己開發的商業應用及操作程序中的做法,它們這么做是為了抵達第一線的企業決策者,對銷售部門來說這是有其作用的。Qlik則試圖通過引起開發者社群的興趣來大力推進在該領域的發展,然而,只有Qlik的少部分用戶真正安裝使用了這個用例。
不僅如此,軟件公司們還在努力提高其平臺的開放性,從而促進社群用戶在一定范圍內拓展這些技術的應用,例如可視化、算法、計算和預置的分析應用等形式。
社會責任
被評估的很多軟件公司一直都為非營利機構提供特別優惠,并向學生群體提供免費軟件,這一方面是其承擔社會責任的一種形式,另一方面也算是在大學里培養未來的客戶。
有些公司的公益行動并不止于此,它們會努力減少自己的碳足跡,并將工作進展向大眾公開,還承諾將部分利潤捐出用于回報社會。
在Data for Good活動中,軟件公司會使用公共數據集、針對社會問題舉辦編程馬拉松,或為社會公益活動捐贈軟件和服務,這都是其回報社會的方式。而這也成了篩選能力都很出色的軟件供應商的一種條件。今年的魔力象限就首次將軟件公司的社會責任感和多樣性指數納入了評價體系中。
價格下行壓力,按月購買的定價模式及企業許可協議
2015年早期,微軟大幅降低了Power BI軟件的用戶人均價格,給該領域的所有軟件公司都造成了降價壓力。這一降價壓力一直持續到2017年,其間,有的大軟件公司會將新的數據分析和BI功能捆綁到其傳統平臺上,或將其作為維護更新的一部分。
消費者表示愿意為關鍵性的特別功能的使用支付額外費用,如果其中包括新興的增強分析等功能,付費意愿就更強了。大部分消費者首先看的都是授權費,但Gartner一直宣稱人們應該看的是總擁有成本,其中囊括了安裝部署、系統擴容、內容授權、后期培訓和支持等所有費用。
不少軟件公司開始采取按月購買的定價機制,從而降低新用戶開始使用軟件的初始成本,然而,這種做法并沒有降低長期授權費用——三四年以后,用戶累計支付的費用就會超過一次性永久授權費用。
此外,對直接下載安裝的軟件或安裝部署工作量小的情況來說,按照用戶來定價的模式是很合適的,但對于需要進行大規模安裝部署的情況來講,成本往往會大幅上升。
目前,大部分軟件公司會提供直接安裝和擴容兩種選項,不過,其中有的公司的企業協議并沒有得到同步升級。
云部署已經過了臨界點
分析和BI的云部署現在已經過了臨界點。多數的全新的云端部署項目以及超過70%的今年調研中的客戶表示,他們已經在用公有云部署了,而2017年的這個數據只有40%。
這種變化在今年的魔力象限報告中被突出顯示,例如僅有云部署或者云端優先的產品(比如SalesforceEinstein Analytics, SAP Analytics Cloud, IBM Watson Analytics 和 Domo)。這種現實揭示出一些創新正在云端先發生了。另外,云部署變得更加靈活,混合數據連接至本地數據源得到了廣泛支持。
在混合云的概念中——客戶可以選擇在何處用到他們的 SaaS 分析應用,以及在任何云端IaaS平臺上去用。在早期的時候, Qlik 和 SAP 就已經構建了向云端發展的策略。一些供應商同時可幫助客戶替換 IaaS 云平臺所提供的BI和數據分析產品。
另外,供應商現在可給客戶授權一個通用的 license 支持客戶本地至云端的無縫切換,就如微軟的Power BI 高級版最初進入市場時那樣,最近 SAP、Oracle 和 Qlik 也都提供了這樣的方式。那么對客戶來說,購買單一完整的 license 會是一個理想的起點,客戶同時希望通過這些部署模式擁有管理內容和用戶的能力,但可惜的是大多數的供應商并不支持這種混合部署。
雖然就這次報告中所觀察的客戶的情況來看,客戶的云部署水平普遍很高,但Gartner的 IT Score 測試卻顯示出68%的客戶缺乏云部署策略,僅有7%的客戶有在產品層面的策略。
支持實時事件、流數據以及分析將進一步擴大使用范圍
越來越多的企業希望利用由設備、傳感器和人進行連接,從而對產生的流數據進行分析,以便據此分析結果,更快的做出決策。
商業智能市場的參與者通過投資,為具備需求相似的買家提供一個具備能夠支持實時事件、流數據以及其他類型數據的分析,同時開發出一系列具備實時、易用性強的創新型應用,從而提升企業的市場洞察力。
內容、數據和算法市場將進一步擴大并變得更加成熟,同時為企業創造新的銷售機會,并通過銷售分析功能來縮短決策時間
軟件廠商和購買方,雙方通過交流數據分析的應用場景,共同策劃數據源的利用,以及探討自定義可視化和大數據算法,這種活躍商業智能市場的可用性探討,將有助于數據分析以及商業智能領域未來的發展。
一個成熟的商業智能市場也為BI廠商提供了一個新的銷售渠道 ,BI廠商在平臺應用成熟之后,可以將平臺積累的成熟行業解決方案出售給客戶或者通過合作伙伴渠道出售給有此需求的企業。
成熟市場的主要受益者最終還是用戶和企業,用戶通過將商業智能應用在工作流程當中,企業內部通過對成熟的行業解決方案的應用,從而優化了工作流程以及提了升企業的運營效率。
隨著下一波市場浪潮的到來,創新型廠商將不斷涌現,但這一變化應被創新性廠商視為整體發展戰略的一部分
在接下來的幾年中,大型供應商的創新市場投資將有益于購買方。
因為創新型廠商擁有大量的技術創新,以及由于創新型廠商對多個獨立的解決方案進行快速演示其業務價值并且草率地將其轉化為生產部署,而未對設計、實施以及技術等給予足夠的投入,因此在產品投入市場進行驗證時,將會暴露出眾多缺陷,而這些創新型廠商對于產品暴露的問題,都將承擔技術責任。
在這個快速發展的市場中,創新性企業應該更加謹慎——通過制定正確的發展戰略,以及選擇正確的技術架構,從而避免將來重大的返工以及重新設計工作。