當前,各行各業都在積極進行著數據基礎之上的智能化轉型,這種轉型讓重新構建數據基礎設施成為關鍵。為何需要重新構建數據基礎設施?數據基礎設施與智能化的發展有哪些必然?數據價值如何落地?華為從計算、接入、存儲、處理和數據使能這五個領域重定義數據基礎設施,解決這些挑戰,助力各行業加速邁向智能時代。
上圖為:華為IT產品線副總裁,智能數據與存儲領域總裁 周躍峰
FusionData 華為打造數據湖解決方案
華為FusionData的終極目標是要打造數據湖解決方案,它可以稱作為數據湖解決方案的基礎。華為數據庫,最大的難點是在高可用穩定上,華為數據庫研發了八年,通過投入大量的人力和時間成本,研發出自主創新的數據庫。
目前,這些創新方案正應用于各行各業。在北京,通過“數據+智能”,實現政務服務“一門一號一窗一網”,讓數據多跑路,群眾少跑腿,業務辦理時間縮短了50%;在深圳,通過“數據+智能”,道路交通控制從“車看燈”變成了“燈看車”,實現早高峰主干道車速提升了18%,讓城市交通更順暢。
在招商銀行,華為的金融實時風控解決方案,在6000多條風控規則下,對交易風險決策的響應速度達到了30ms以內,讓招行的交易風控從事后變成事中。華為的金融實時風控解決方案,從2016年在招行部署以來,已累計保護32億筆交易安全,幫助客戶大幅減少交易損失。
但是,由于多樣性數據、多樣性系統和多樣性業務的現狀,導致企業實現數據價值的過程中,面臨數據接入難、數據融合分析難和數據消費難三大挑戰。
數據接入難
隨著應用移動化的高速發展,企業前端應用系統和應用模塊達到上千個,后端平臺有數十個,整個數據平臺有上萬個接入點,導致系統前端和后端的數據接入很復雜。比如某公司,一條財經數據涉及30多個前端系統,一個業務開發流程需要和400多個系統進行數據對接。
數據融合分析難
一個業務在分析過程中,往往需要從多個數據來源抽取數據,經過融合分析實現業務目標。由于企業煙囪式架構帶來的系統開發接口不統一,數據標準不統一,數據處理鏈路長等問題,使得數據融合分析成為一大難題。
以某銀行精準營銷為例,需要使用用戶注冊數據、消費行為數據、位置數據等,這些數據分散在關系數據庫、MPPDB、Hadoop、 流計算等多種系統中。這些系統提供的接口標準不統一,有SQL、API等;數據存儲格式不統一,有文件,表等。數據融合分析耗費大量人力物力。最終,耗時一個月實現該業務。
數據消費難,其實質就是數據用不好
以某公司為例,全公司共有130多萬張表,分散在各個業務系統中;經過數據加工入湖的數據有14多萬張表,約占總數據量的11% ;經過加工聚合后的主題庫表約5千張,不足總數據量的0.5%,無法應對靈活多變的業務需求。
華為從計算、接入、存儲、處理和數據使能這五個領域重定義數據基礎設施,解決這些挑戰,助力各行業加速邁向智能時代。
在計算領域,華為引領多樣性計算,從單一算力到多樣性算力,匹配多樣性數據,計算更高效。
在數據接入領域,華為引領多樣性數據連接,通過智能全連接,加速數據流動,讓應用與數據連接更高效。
在存儲領域,為應對存儲效率低、管理復雜的問題,華為重定義存儲架構,從單一類型存儲到多樣性融合存儲,構建融合處理基礎,大幅提升效率。
在數據處理領域,為應對更實時和智能的需求,華為重定義數據處理平臺,從單一處理到智能融合處理,加速實現數據價值。
在數據使能領域,打造創新的數據使能平臺,構建數據處理與業務創新的橋梁,提升業務體驗,讓業務更敏捷。
據企業網D1Net記者了解,華為本次發布的智能數據解決方案FusionData包含數據接入、數據處理和數據使能這三個部件。其中,數據接入ROMA解決多樣性數據接入問題,連接企業應用和數據,消除數據孤島;數據處理解決數據融合分析難的問題,實現數據免搬遷,高效分析。
數據使能解決用戶找數難,取數難的問題,讓用戶獲得“ATM”式的數據自助獲取與分析體驗,提升數據使用效率,讓業務更敏捷。
這三個部件的具體能力及關鍵技術如下:
智能數據連接部件ROMA支持多數據源接入、消息和API的統一管理、智能通道選擇等技術實現智能全連接,加速數據流動,讓應用與數據連接更高效。
多數據源接入:支持1100多種應用和異構數據源接入,通過開放式數據接入框架可靈活接入第三方數據源。
消息和API的統一管理:支持分布式消息和API的路由統一配置管理,輕松實現分布式消息和API服務的跨網跨域跨云集成,讓數據自由流動。
智能通道選擇:支持數據多通道傳輸,并且可根據數據特點智能選擇傳送通道,大幅提升數據接入效率。
智能數據處理部件包含分布式存儲FusionStorage、分布式數據庫GaussDB和大數據平臺FusionInsight等,通過多類型數據融合存儲、融合分析引擎等技術實現從單一處理到智能融合處理,加速實現數據價值。
多類型數據融合存儲:通過存儲與計算分離技術,打破系統煙囪式建設;通過智能分布式存儲的多協議融合技術,實現一份數據同時支持數據庫、大數據、AI等多種業務的分析需求,讓融合數據分析成為可能。
融合分析引擎:支持數據庫、大數據、AI多引擎融合分析和多樣性算力統一調度。通過統一架構,降低海量數據處理難度,實現極簡分析。
智能數據使能部件DAYU通過智能元數據感知和OneQuery Turbo 技術構建數據處理與業務創新的橋梁,提升業務體驗,讓業務更敏捷。
智能元數據感知:通過AI技術,自動感知和采集多個系統的元數據,并進行智能化分級分類,生成全局統一的數據視圖,數據尋找秒級響應。
OneQuery Turbo :提供統一的數據訪問接口,實現多數據源、多類型數據的統一訪問,簡化數據加工流程,數據獲取速度提升10倍以上。