隨著新一代信息技術的飛速發展,數據已成為重要的戰略性資源,驅動經濟社會的發展,提高生產效率,創造更多價值。如今,數據資產正在逐步成為一種極其重要的新的資產類別。
Kyligence聯合創始人兼CEO 韓卿在3月1日舉辦的Kyligence 2022春季線上論壇中提到:“以前我們都會把數據當成資產去運營,但是任何資產其實都是成本。Thought Works 最近提出了一個非常重要的概念叫數據即產品,這是我們非常認可的未來趨勢。”
據悉,Kyligence的客戶正在通過其平臺構建數據產品,從而對外提供數據價值,進行數據變現,其中部分客戶所構建的數據產品,已經成為其核心業務的收入來源。
數據基礎架構向去中心化的方向演進
隨著企業IT設施的增多,煙囪式的數據設施,帶來了數據孤島的問題,數據的使用、遷移、同步難度過大,且數據的不連通使得企業不能很好地發掘數據價值。以往的數倉產品僅能處理結構化數據,但企業內外部繁雜的數據類型,使得傳統方法捉襟見肘。
作為Kyligence的投資人,紅點中國合伙人劉嵐在會上表示:“湖倉一體化的架構思路被推向主流,可以很好的解決數據孤島的問題,讓企業內部的指標管理更統一,數據接口更標準,分析更自助。而Kyligence正在積極地解決這一問題,并且已在平安、招行等多家銀行客戶落地,提供了標準范式。”
在過去的一到兩年,數據基礎架構正在從中心化架構向去中心化架構的方向快速演進,Kyligence 的產品和架構非常符合這樣的發展方向,已經能夠虛擬化不同的數據源,并且在中間構建了一整套抽象的數據集市層,即傳統意義上的統一語義層。通過這個統一語義層,Kyligence 將企業內外部的所有數據看成一個更大的數倉或數據湖,并在其上構建了整體的數據連接能力。
OLAP on 數據湖:提供構建數據服務產品的能力
韓卿認為,每個企業其實都是一家數據公司,都將能夠基于現有數據開發新的產品或創造新的價值,實現業務的提升與創新,為企業的數字化轉型奠定良好的基石。與此同時,企業需要構建積極的數據文化和生態,數據團隊將不再是單純導數據的“表哥”和“表姐”,而是與業務團隊共同為客戶提供數據服務產品,從而讓企業實現更好的業務增長曲線。
基于 Kyligence的OLAP 引擎,企業可以基于特定的業務場景構建相應的數據集市或索引,從而確保這些數據能夠更快、更安全地被訪問。Kyligence OLAP on Data Lake,是基于云上的數據湖提供的企業級OLAP引擎,具備六大特色優勢:
1)支持SQL查詢,可以直接使用各種各樣的BI工具或Excel等數據服務;
2)其云原生的彈性架構,只依賴云的存儲和計算資源;
3)彈性伸縮、定時啟停集群、夜間休眠等功能,大大降低了云端數據分析TCO;
4)通過標準SQL/MDX/Rest API 等多種接口對接各類前端數據工具,以極低的云端成本實現統一的管控能力;
5)提供審計接口,助力企業內部的數據合規,實現企業級的安全管控能力;
6)通過智能查詢下壓和內置AI增強引擎,數據管理員能夠更好地運維和治理數據集。
大數據時代,一線業務人員對于數據的敏捷性有著更強烈的需求,為了能夠盡快搶占市場先機,業務人員需要及時使用數據開展經營決策。Kyligence通過統一的語義層,為客戶在云上構建多維數據集市,業務人員只需要在這樣的數據集市中進行各種操作,而無需關心這些數據來自哪里,是什么類型。通過Kyligence批流一體的能力,業務人員只需要使用數據就可以了。
OLAP on Data Lake實現了一套語義支持多個BI工具,集數據定義、安全管理、審計等能力于一身,實現了云上數據的統一管控能力,避免了Excel場景中大量數據被導出后分發不受控的情況。
韓卿提到,2021年底,Kyligence 在支持亞馬遜云科技Spot Instance后,以更加經濟、高效和高并發的方式,幫助客戶將云上的支出成本降低了70%以上。
企業級指標中臺 以數據驅動管理效能提升
在過去的幾年,多數企業都在面臨“轉型找死,不轉等死”的困境,CIO也是一個非常容易焦慮的群體。數字化轉型趨勢下,即使是中等規模以上的BI或數倉的技術棧,也會有幾百至幾千張報表,每張報表的數據指標如果在十個以上,那就意味著有幾萬甚至幾十萬個業務指標,這些數據的口徑是否統一?哪些數據被誰使用?哪些是最有價值的數據?這些問題都非常復雜。
更可怕的是,伴隨ETL任務的膨脹,一張源表可能產生幾萬張衍生表,而整個數倉可能充斥著幾百萬張表,無數個ETL任務的重復性工作,帶來的不僅是存儲問題,不斷被消耗的數據集群資源使CIO面臨著更加嚴峻的挑戰。實際上,Kyligence能夠很好地解決這一問題,幫助企業客戶更好地達成碳中和。
過去的幾年里,各大銀行紛紛投入建設口徑統一、自上而下的新型指標平臺,來有效衡量業務經營和發展情況,降低業務數據使用門檻,真正實現數據賦能一線業務,全面推動銀行數字化經營。Kyligence在服務這些銀行類高端客戶的過程中,積累了一整套指標中臺的通用能力。
Kyligence指標中臺解決方案,將助力企業以指標為中心,去構建整個數字化體系建設的方法論,從而建立數據管理共識,最終服務于企業管理目標。
多維數據集市是指標中臺的最佳技術底座,Kyligence期望通過其多維數據集市,為上層的數據指標提供更好的能力。基于Kyligence獨有的AI增強引擎,企業客戶可以通過現有SQL識別出相應的數據集市,并進一步通過系統自動化地推薦和治理重要指標。
據悉,Kyligence指標中臺支持全生命周期的指標自動化構建和管理,給業務人員提供了用數字化的方式優化自身工作的賦能空間。以平安銀行搭建的指標管理和指標應用的統一平臺——潘多拉平臺為例,實現了全生命周期的指標自動化構建和管理,顯著提升了數據開發產能,對數據進行了有效的治理。
Kyligence聯合創始人兼CTO李揚在接受企業網D1Net采訪時介紹:“指標中臺包含原子指標和偏業務向的衍生和派生指標兩大類,后一類為業務創新提供了廣泛的空間。例如,在標準標價之上,業務人員可以通過一些營銷策略和階梯折扣價,以數字化的方式證明自己有更好的報價方案。在統一的指標中臺的口徑之上,業務人員能夠在現有原子指標的標準之上進行微創新,更能滿足業務的靈活性和機動性。”
某銀行經營管理作戰室,在使用Kyligence 指標中臺技術能力的過程中,不僅可以從現有的系統中抽取指標、進行管理,還能以寬表的形式自動化或半自動化地過渡到以維度為模型的經過治理的平臺,大大地降低了ETL 的調度任務以及人力干預。
Kyligence 根據指標的基礎定義,對指標進行智能建模,然后通過調度從數據湖中自動地加載數據,對指標進行加工和計算,整個過程無需手工的 ETL 開發。通過指標查詢引擎,指標裝配人員可以對指標進行查詢和前端裝配。與傳統方案中指標的加工和處理相比,新的方案通過全自動化的指標加工和計算,大幅減少了指標的 ETL 開發工作,提升了開發效率和指標的上線速度,從而推動了作戰室的快速建設,同時結合 Kyligence 的高性能在線聯機分析引擎,保障了指標的秒級查詢響應。
會上,Kyligence還分享了某股份制銀行建設指標平臺推動數據治理與數字化戰略的實踐,以及某領先的城商行通過指標平臺賦能掌上銀行智慧經營的案例。
云上數據分析代運營 帶給中小企業的福音
盡管數字化轉型是大勢所趨,但是對于中小企業而言,技術學習、架構搭建和部署的時間和成本都需要持續性投入,這讓很多企業負擔沉重。
Kyligence在服務客戶的過程中發現:由于一些中小型企業的IT 管理人員并非大數據專業出身,因此在云上部署大數據基礎設施時,往往面臨著很大壓力,而維持大數據系統的穩定,可能比搭建它要困難十倍。中小型企業更想直接使用專業的數據能力,而非組建整個數據團隊。
為此,Kyligence推出了全托管或半托管的云上數據分析代運營服務,目前這項服務已支持微軟云 Azure 、亞馬遜云科技、華為云和 Google Cloud 平臺的用戶使用。
Kyligence Cloud代運營模式,在數據不離開企業VPC(虛擬私有云)的前提下,以遠程的方式幫助企業高效安全地運維 Kyligence 產品,并在現有的標準技術支持體系之上,額外提供集監控告警、定期服務健康檢查、TCO 優化建議三位一體的增值服務。
據李揚介紹:Kyligence推出代運營服務,就是希望給用戶提供一種拎包入住的體驗。客戶在線上進行服務申請后,只需享受大數據分析的能力即可,而無需負擔 IT 運維工作,整個數據平臺的搭建和運維都將由 Kyligence 的專業工程團隊來完成。
Strikingly是一家網站建設的SaaS服務商,基于開源 Kylin 構建的網絡流量分析平臺,為全球200多個國家的上百萬客戶提供服務。起初,Strikingly的大數據IT管理員負責開發和運行簡單的點擊流分析產品,但服務不太穩定,有時會出現服務不可用的情況,這直接影響其客戶體驗。
2021年,Strikingly成為 Kyligence Cloud 代運營服務的典型客戶,Kyligence Cloud 是完整的云原生架構,不僅替換了Hadoop,還將技術棧遷移到Spark ,以代運營替換其原有的運維方式,不僅大幅節約了IT資源,具備更強的彈性和伸縮能力,還將云上成本節約了53%。
Strikingly通過8項關鍵指標幫助其客戶指導網站建設,屬于非常典型的指標型的數據應用。通常,數據分析引擎的性能會隨著數據量的增長呈現線性下降的趨勢,但是Kyligence 的預計算技術在這些數據增長場景下表現非常優異,無論是查詢的響應速度,還是查詢的吞吐量,均處于非常平穩的態勢。這說明在典型的指標應用場景下,預計算技術與指標數據能夠互相配合,很好地解決了數據量增長、IT 成本也會隨之不停增長的問題。
Strikingly CTO 在溝通中反饋:節約成本并不是其最大收益,Kyligence能夠預判安全隱患,保障業務穩定,免除運維壓力才是他們最看中的。因為就目前而言,要想找到一個好的運維人員,對很多企業來說非常困難,這不僅是人員薪資,還意味著很多管理成本。
以指標為中心 構建建設指標中臺的方法論
在接受企業網D1Net采訪時韓卿強調:“Kyligence希望以指標為中心構建建設指標中臺的方法論,任何指標平臺一定是一個管理系統,任何技術都無法解決所有的管理問題,例如不同部門指標不統一、指標過時等等,都屬于管理問題。”
因此,首先應從管理入手,進行變革、協調和同步。從高層開始為服務某個管理目標建立共識,而非單純搭建一個可視化的平臺。他舉例,在某公司,IT部門只負責做好指標平臺的底座,而數據的標準定義則交給規劃和戰略管理部,這也是一種可行的做法。
其次,企業應該更聚焦、更快地去做閉環。例如,從一個部門或從一條產品線完成整個閉環鏈路,這樣能夠快速見到成效。不同部門的指標定義口徑可能并不相同,而技術無法解決這一問題,Kyligence的方法是在一個部門或一條產品線內將其打通,形成統一的指標口徑或指標治理目標,使效果易于被量化。在收獲良好的成效之后,企業可以進一步地嘗試更多應用,實現邊使用、邊治理,不斷挖掘更多數據價值。