12月30日,華為云TechWave云原生2.0峰會在深圳順利舉行。在此次大會上,華為云FusionInsight首席架構師徐禮鋒出席并做主題演講“華為云FusionInsight MRS云原生數據湖構建一企一湖、一城一湖”。
華為云FusionInsight MRS云原生數據湖為政企客戶海量數據提供大數據解決方案,支持大數據實時分析、離線分析、交互查詢、實時檢索等應用場景,助力政企釋放海量數據價值,實現一企一湖、一城一湖,業務洞見更準,價值兌現更快!
HC2020由華為云CTO張宇昕在峰會上重磅發布了華為云FusionInsight新一代智能數據湖,原FusionInsight HD與華為云MRS強強結合,架構、內核歸一,全面升級到FusionInsight MRS云原生架構,將為客戶提供以下更具競爭力的云原生數據湖:
1.OBS大數據存算分離方案:首先,相較傳統大數據存算一體化方案,軟硬件解耦,提供更高性價比、更靈活的OBS大數據存算分離方案。OBS+大數據將計算與存儲資源按需靈活擴容,避免資源浪費,OBS采用企業級EC,傳統大數據需3副本,華為提供最低1.2副本的大數據存算分離解決方案,存儲利用率從33%提升至80%+,使得整體TCO降低60%+。其次,OBS大數據存算分離方案將數據統一存儲在OBS,數據在一個支持多協議共享,實現多引擎共享,數據免搬遷;同時,全局一套數據,統一數據管理,從而降低了運維的難度。最后,在性能方面,OBS大數據存算分離方案通過算子下推、軟硬件調優,與同等成本的集群相比,性能提升30%+。
2.Data Lake Catalog統一數據目錄:相較傳統數據孤島,DLC統一全局數據視圖,讓元數據全局可見。DLC還兼容Hive MetaStore,性能超越其3~5倍,在保持高性能的前提下,實現數據的全局可視。
3.BMS裸金屬服務器:相較傳統虛擬機部署,性能零損耗。其兼具大數據所需資源彈性,更是做到分鐘級發放。同時,華為云大數據具備獨家的SDI技術,基于擎天加速卡,擁有超低時延,可做到100%釋放完整算力,讓大數據分析、計算等高CPU、高內存、高IO等計算密集型場景如虎添翼。
新版本的FusionInsight MRS云原生數據湖除過以上云原生優勢,還在以下5個方面持續發力:
1.快:基于MRS可構建實時數據湖,湖內建倉,一份數據支持全場景,縮短分析鏈路,加速數據分析全過程。首先,在數據入湖方面,通過Hudi實現全量數據的T+0實時增量更新;其次,在數據集市構建方面,通過ClickHouse實時OLAP能力構建大數據實時數據湖,基于Kimball直面業務構建主題數據,湖內建倉將數據的貼源加工、整合關聯、主題加工過程都在湖內完成,一份數據支持數據應用全場景,縮短數據加工鏈路;通過HetuEngine實現數據虛擬化訪問,統一SQL接口,簡化用數,全民BI!經實測,在某客戶營銷業務場景下(大表多表關聯場景)使用HetuEngine,較傳統大數據性能提升10倍!
2.融:助力客戶從孤島建設方式向云原生數據湖演進,提供跨源、跨域、跨引擎融合分析,數據免搬遷。
3.大:支持最大2萬+節點大規模集群,可集群聯邦無限擴容。
4.穩:支持在線滾動升級,無需拆集群、搬應用,使客戶一個架構持續演進,十年無憂;支持資源隔離,業務互不影響;支持兩地三中心高可用災備,確保業務連續性!
5.開放:華為云FusionInsight MRS積極擁抱開源,與世界同行,已獲專利500+;具有20+開源PMC&Committer,先后開放CarbonData和openLooKeng等組件。
同時,華為云FusionInsight MRS作為最懂行的大數據解決方案,擁有雄厚的技術研發實力,深入了解客戶場景痛點,為政企數字化轉型提供最堅實的數據底座,連續多年獲得了客戶和權威機構的認可。在IDC MarketScape報告中,華為云位居領導者(Leaders)象限,并在市場份額和技術實力兩個維度雙領先!2020年,華為云FusionInsight已連續四年入選中國大數據企業50強,并榮獲金融行業大數據最佳解決方案獎、中國信息通信大數據行業影響力獎、中國大數據平臺類最佳解決方案獎。
截止2020年11月,華為云FusionInsight MRS云原生數據湖已廣泛應用于政府、金融、運營商、大企業、互聯網等行業,攜手800+合作伙伴,服務于全球60+國家和地區3000+政企客戶。
在金融領域,國內50%的TOP20金融客戶(含銀行、證券、保險等)均已使用華為云FusionInsight MRS構建其大數據平臺。金融某大行之前使用傳統大數據的三副本存儲性價比低,往往10PB的存儲空間,有效容量僅3PB;同時存在存儲、計算等資源不均衡,往往存儲利用率超過70%,但CPU利用率不足50%,擴容時需要計算、存儲資源一起擴容,存在資源浪費現象;該金融客戶使用FusionInsight后,實現了大數據平臺與OBS對象存儲服務的對接,在保證性能的前提下,實現了計算與存儲獨立按需擴容,提升整體資源利用率,TCO降低60%。
在運營商領域,國內三大運營商均使用華為云FusionInsight MRS構建其大數據平臺。廣東移動大數據平臺的集群規模已超1500節點,日均處理作業21萬+,承載業務達200+,其中包括對內精準營銷、收入稽核,對外廣告投放等關鍵業務,服務連續性需求較高。而大數據技術迭代快,傳統升級方式需斷電、重啟等操作,升級操作復雜,運維繁瑣,影響現網業務運行,且大集群升級耗時長,突發故障易中斷升級動作。為了保持業務的連續性和技術引領,廣東移動通過華為云FusionInsight MRS滾動升級能力,實現大集群分批次滾動升級,業務0中斷;故障節點隔離功能確保升級動作的穩定運行,實現7*24小時不間斷服務;1000+精細化運維指標及可視化操作簡化運維,實現一個架構持續演進。
在交通領域,深圳地鐵在6、10號線采用華為云FusionInsight MRS構建大數據分析平臺,打造領先的5G+大數據方案,并構建其數據資產中心和運行監控中心,承載地鐵各業務系統,支撐設備健康、能耗管理、客流統計、線路中心級監控、應急決策和圖像型火災分析等線路級數據分析,數據分析效率從周級縮短至分鐘級,實現高效運營,推動深圳步入更美好的全聯接數字化軌道交通新時代…
除過在以上各行業的應用,在環境保護方面,青海綠能數據有限公司基于華為云FusionInsight MRS構建了國內首個能源大數據創新平臺,實現了規劃輔助決策、用氣象數據科學指導發電等創新業務,為上下游產業鏈企業提供25類47項數據服務,推動28座新能源場站實現了“無人值班、少人值守”,并有效支撐了青海“綠電15日”,以大數據為基石,建設綠色新青海,守護高原和諧生態。
同時,華為堅持“自己的降落傘自己先跳”,華為集團IT通過FusionInsight MRS構建OneData大數據集群,實現大數據平臺在大規模場景下的開拓,OneData集群其規模已至1萬+節點;同時,實現了統一的數據管理服務,在菩提海UniDB產品中,通過邏輯統一方式,把50+物理分散的計算集群(Hadoop),基于五統一(數據安全,元數據目錄,數據集成,數據訪問,任務調度),整合成湖倉一體的架構,支撐上千個企業租戶的PB級數據分析處理需求。一個基于FusionInsight MRS 的“+治理,+AI,+運營,+云”的融合數據底座(菩提海)已經在華為集團IT廣泛使用,未來可期。
以上只是“冰山的一角”,華為云FusionInsight MRS一方面不斷深入理解客戶不斷發展的業務訴求,另一方面,持續技術創新并引領行業發展,商業訴求+技術創新雙輪驅動行業可持續、高質量發展,“用數”助力客戶商業成功!上面的論述已經充分證明,華為云是“懂行”的大數據領導者,真正讓客戶用好數、管好數、放心用,構建數字世界黑土地!