精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數據業界動態 → 正文

數據湖 華為正在打造數據基礎設施

責任編輯:jcao 作者:曹建菊 |來源:企業網D1Net  2019-06-24 16:30:00 原創文章 企業網D1Net

水、陽光與土壤,是人類生活的三要素。當人類進入萬物互聯的智能時代,在基礎生活要素之外,數據便成了新的生產資料。根據《華為全球行業展望GIV》報告預測,全球數據量將從2018年32.5ZB快速增長到2025年的180ZB。行業專家認為:在數據成為新生產資料的同時,智能也成為新生產力。

當前,各行各業都在積極進行著數據基礎之上的智能化轉型,這種轉型讓重新構建數據基礎設施成為關鍵。為何需要重新構建數據基礎設施?數據基礎設施與智能化的發展有哪些必然?數據價值如何落地?華為從計算、接入、存儲、處理和數據使能這五個領域重定義數據基礎設施,解決這些挑戰,助力各行業加速邁向智能時代。

上圖為:華為IT產品線副總裁,智能數據與存儲領域總裁 周躍峰

FusionData 華為打造數據湖解決方案

華為FusionData的終極目標是要打造數據湖解決方案,它可以稱作為數據湖解決方案的基礎。華為數據庫,最大的難點是在高可用穩定上,華為數據庫研發了八年,通過投入大量的人力和時間成本,研發出自主創新的數據庫。

目前,這些創新方案正應用于各行各業。在北京,通過“數據+智能”,實現政務服務“一門一號一窗一網”,讓數據多跑路,群眾少跑腿,業務辦理時間縮短了50%;在深圳,通過“數據+智能”,道路交通控制從“車看燈”變成了“燈看車”,實現早高峰主干道車速提升了18%,讓城市交通更順暢。

在招商銀行,華為的金融實時風控解決方案,在6000多條風控規則下,對交易風險決策的響應速度達到了30ms以內,讓招行的交易風控從事后變成事中。華為的金融實時風控解決方案,從2016年在招行部署以來,已累計保護32億筆交易安全,幫助客戶大幅減少交易損失。

但是,由于多樣性數據、多樣性系統和多樣性業務的現狀,導致企業實現數據價值的過程中,面臨數據接入難、數據融合分析難和數據消費難三大挑戰。

數據接入難

隨著應用移動化的高速發展,企業前端應用系統和應用模塊達到上千個,后端平臺有數十個,整個數據平臺有上萬個接入點,導致系統前端和后端的數據接入很復雜。比如某公司,一條財經數據涉及30多個前端系統,一個業務開發流程需要和400多個系統進行數據對接。

數據融合分析難

一個業務在分析過程中,往往需要從多個數據來源抽取數據,經過融合分析實現業務目標。由于企業煙囪式架構帶來的系統開發接口不統一,數據標準不統一,數據處理鏈路長等問題,使得數據融合分析成為一大難題。

以某銀行精準營銷為例,需要使用用戶注冊數據、消費行為數據、位置數據等,這些數據分散在關系數據庫、MPPDB、Hadoop、 流計算等多種系統中。這些系統提供的接口標準不統一,有SQL、API等;數據存儲格式不統一,有文件,表等。數據融合分析耗費大量人力物力。最終,耗時一個月實現該業務。

數據消費難,其實質就是數據用不好

以某公司為例,全公司共有130多萬張表,分散在各個業務系統中;經過數據加工入湖的數據有14多萬張表,約占總數據量的11% ;經過加工聚合后的主題庫表約5千張,不足總數據量的0.5%,無法應對靈活多變的業務需求。

華為從計算、接入、存儲、處理和數據使能這五個領域重定義數據基礎設施,解決這些挑戰,助力各行業加速邁向智能時代。

在計算領域,華為引領多樣性計算,從單一算力到多樣性算力,匹配多樣性數據,計算更高效。

在數據接入領域,華為引領多樣性數據連接,通過智能全連接,加速數據流動,讓應用與數據連接更高效。

在存儲領域,為應對存儲效率低、管理復雜的問題,華為重定義存儲架構,從單一類型存儲到多樣性融合存儲,構建融合處理基礎,大幅提升效率。

在數據處理領域,為應對更實時和智能的需求,華為重定義數據處理平臺,從單一處理到智能融合處理,加速實現數據價值。

在數據使能領域,打造創新的數據使能平臺,構建數據處理與業務創新的橋梁,提升業務體驗,讓業務更敏捷。

據企業網D1Net記者了解,華為本次發布的智能數據解決方案FusionData包含數據接入、數據處理和數據使能這三個部件。其中,數據接入ROMA解決多樣性數據接入問題,連接企業應用和數據,消除數據孤島;數據處理解決數據融合分析難的問題,實現數據免搬遷,高效分析。

數據使能解決用戶找數難,取數難的問題,讓用戶獲得“ATM”式的數據自助獲取與分析體驗,提升數據使用效率,讓業務更敏捷。

這三個部件的具體能力及關鍵技術如下:

智能數據連接部件ROMA支持多數據源接入、消息和API的統一管理、智能通道選擇等技術實現智能全連接,加速數據流動,讓應用與數據連接更高效。

多數據源接入:支持1100多種應用和異構數據源接入,通過開放式數據接入框架可靈活接入第三方數據源。

消息和API的統一管理:支持分布式消息和API的路由統一配置管理,輕松實現分布式消息和API服務的跨網跨域跨云集成,讓數據自由流動。

智能通道選擇:支持數據多通道傳輸,并且可根據數據特點智能選擇傳送通道,大幅提升數據接入效率。

智能數據處理部件包含分布式存儲FusionStorage、分布式數據庫GaussDB和大數據平臺FusionInsight等,通過多類型數據融合存儲、融合分析引擎等技術實現從單一處理到智能融合處理,加速實現數據價值。

多類型數據融合存儲:通過存儲與計算分離技術,打破系統煙囪式建設;通過智能分布式存儲的多協議融合技術,實現一份數據同時支持數據庫、大數據、AI等多種業務的分析需求,讓融合數據分析成為可能。

融合分析引擎:支持數據庫、大數據、AI多引擎融合分析和多樣性算力統一調度。通過統一架構,降低海量數據處理難度,實現極簡分析。

智能數據使能部件DAYU通過智能元數據感知和OneQuery Turbo 技術構建數據處理與業務創新的橋梁,提升業務體驗,讓業務更敏捷。

智能元數據感知:通過AI技術,自動感知和采集多個系統的元數據,并進行智能化分級分類,生成全局統一的數據視圖,數據尋找秒級響應。

OneQuery Turbo :提供統一的數據訪問接口,實現多數據源、多類型數據的統一訪問,簡化數據加工流程,數據獲取速度提升10倍以上。

關鍵字:華為大數據基礎設施

原創文章 企業網D1Net

x 數據湖 華為正在打造數據基礎設施 掃一掃
分享本文到朋友圈
當前位置:大數據業界動態 → 正文

數據湖 華為正在打造數據基礎設施

責任編輯:jcao 作者:曹建菊 |來源:企業網D1Net  2019-06-24 16:30:00 原創文章 企業網D1Net

水、陽光與土壤,是人類生活的三要素。當人類進入萬物互聯的智能時代,在基礎生活要素之外,數據便成了新的生產資料。根據《華為全球行業展望GIV》報告預測,全球數據量將從2018年32.5ZB快速增長到2025年的180ZB。行業專家認為:在數據成為新生產資料的同時,智能也成為新生產力。

當前,各行各業都在積極進行著數據基礎之上的智能化轉型,這種轉型讓重新構建數據基礎設施成為關鍵。為何需要重新構建數據基礎設施?數據基礎設施與智能化的發展有哪些必然?數據價值如何落地?華為從計算、接入、存儲、處理和數據使能這五個領域重定義數據基礎設施,解決這些挑戰,助力各行業加速邁向智能時代。

上圖為:華為IT產品線副總裁,智能數據與存儲領域總裁 周躍峰

FusionData 華為打造數據湖解決方案

華為FusionData的終極目標是要打造數據湖解決方案,它可以稱作為數據湖解決方案的基礎。華為數據庫,最大的難點是在高可用穩定上,華為數據庫研發了八年,通過投入大量的人力和時間成本,研發出自主創新的數據庫。

目前,這些創新方案正應用于各行各業。在北京,通過“數據+智能”,實現政務服務“一門一號一窗一網”,讓數據多跑路,群眾少跑腿,業務辦理時間縮短了50%;在深圳,通過“數據+智能”,道路交通控制從“車看燈”變成了“燈看車”,實現早高峰主干道車速提升了18%,讓城市交通更順暢。

在招商銀行,華為的金融實時風控解決方案,在6000多條風控規則下,對交易風險決策的響應速度達到了30ms以內,讓招行的交易風控從事后變成事中。華為的金融實時風控解決方案,從2016年在招行部署以來,已累計保護32億筆交易安全,幫助客戶大幅減少交易損失。

但是,由于多樣性數據、多樣性系統和多樣性業務的現狀,導致企業實現數據價值的過程中,面臨數據接入難、數據融合分析難和數據消費難三大挑戰。

數據接入難

隨著應用移動化的高速發展,企業前端應用系統和應用模塊達到上千個,后端平臺有數十個,整個數據平臺有上萬個接入點,導致系統前端和后端的數據接入很復雜。比如某公司,一條財經數據涉及30多個前端系統,一個業務開發流程需要和400多個系統進行數據對接。

數據融合分析難

一個業務在分析過程中,往往需要從多個數據來源抽取數據,經過融合分析實現業務目標。由于企業煙囪式架構帶來的系統開發接口不統一,數據標準不統一,數據處理鏈路長等問題,使得數據融合分析成為一大難題。

以某銀行精準營銷為例,需要使用用戶注冊數據、消費行為數據、位置數據等,這些數據分散在關系數據庫、MPPDB、Hadoop、 流計算等多種系統中。這些系統提供的接口標準不統一,有SQL、API等;數據存儲格式不統一,有文件,表等。數據融合分析耗費大量人力物力。最終,耗時一個月實現該業務。

數據消費難,其實質就是數據用不好

以某公司為例,全公司共有130多萬張表,分散在各個業務系統中;經過數據加工入湖的數據有14多萬張表,約占總數據量的11% ;經過加工聚合后的主題庫表約5千張,不足總數據量的0.5%,無法應對靈活多變的業務需求。

華為從計算、接入、存儲、處理和數據使能這五個領域重定義數據基礎設施,解決這些挑戰,助力各行業加速邁向智能時代。

在計算領域,華為引領多樣性計算,從單一算力到多樣性算力,匹配多樣性數據,計算更高效。

在數據接入領域,華為引領多樣性數據連接,通過智能全連接,加速數據流動,讓應用與數據連接更高效。

在存儲領域,為應對存儲效率低、管理復雜的問題,華為重定義存儲架構,從單一類型存儲到多樣性融合存儲,構建融合處理基礎,大幅提升效率。

在數據處理領域,為應對更實時和智能的需求,華為重定義數據處理平臺,從單一處理到智能融合處理,加速實現數據價值。

在數據使能領域,打造創新的數據使能平臺,構建數據處理與業務創新的橋梁,提升業務體驗,讓業務更敏捷。

據企業網D1Net記者了解,華為本次發布的智能數據解決方案FusionData包含數據接入、數據處理和數據使能這三個部件。其中,數據接入ROMA解決多樣性數據接入問題,連接企業應用和數據,消除數據孤島;數據處理解決數據融合分析難的問題,實現數據免搬遷,高效分析。

數據使能解決用戶找數難,取數難的問題,讓用戶獲得“ATM”式的數據自助獲取與分析體驗,提升數據使用效率,讓業務更敏捷。

這三個部件的具體能力及關鍵技術如下:

智能數據連接部件ROMA支持多數據源接入、消息和API的統一管理、智能通道選擇等技術實現智能全連接,加速數據流動,讓應用與數據連接更高效。

多數據源接入:支持1100多種應用和異構數據源接入,通過開放式數據接入框架可靈活接入第三方數據源。

消息和API的統一管理:支持分布式消息和API的路由統一配置管理,輕松實現分布式消息和API服務的跨網跨域跨云集成,讓數據自由流動。

智能通道選擇:支持數據多通道傳輸,并且可根據數據特點智能選擇傳送通道,大幅提升數據接入效率。

智能數據處理部件包含分布式存儲FusionStorage、分布式數據庫GaussDB和大數據平臺FusionInsight等,通過多類型數據融合存儲、融合分析引擎等技術實現從單一處理到智能融合處理,加速實現數據價值。

多類型數據融合存儲:通過存儲與計算分離技術,打破系統煙囪式建設;通過智能分布式存儲的多協議融合技術,實現一份數據同時支持數據庫、大數據、AI等多種業務的分析需求,讓融合數據分析成為可能。

融合分析引擎:支持數據庫、大數據、AI多引擎融合分析和多樣性算力統一調度。通過統一架構,降低海量數據處理難度,實現極簡分析。

智能數據使能部件DAYU通過智能元數據感知和OneQuery Turbo 技術構建數據處理與業務創新的橋梁,提升業務體驗,讓業務更敏捷。

智能元數據感知:通過AI技術,自動感知和采集多個系統的元數據,并進行智能化分級分類,生成全局統一的數據視圖,數據尋找秒級響應。

OneQuery Turbo :提供統一的數據訪問接口,實現多數據源、多類型數據的統一訪問,簡化數據加工流程,數據獲取速度提升10倍以上。

關鍵字:華為大數據基礎設施

原創文章 企業網D1Net

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 柘城县| 陆川县| 郑州市| 安远县| 理塘县| 崇阳县| 墨玉县| 德清县| 蓝山县| 济源市| 漳州市| 利辛县| 泉州市| 保德县| 双江| 广饶县| 沙河市| 望谟县| 昌乐县| 石河子市| 大渡口区| 昌黎县| 井冈山市| 淳安县| 蒲江县| 时尚| 牙克石市| 杂多县| 中宁县| 子长县| 镇远县| 宾川县| 合江县| 襄城县| 陈巴尔虎旗| 肃宁县| 九江市| 衡南县| 合作市| 东丽区| 林周县|