2021年6月24日,亞馬遜云科技針對數據及數據分析等服務持續發力,推出引領大數據未來的“智能湖倉”架構,并2021年初至今在由光環新網和西云數據運營的中國區域總共上線了近40項相關服務和特性。亞馬遜云科技“智能湖倉”架構將亞馬遜云科技全面而深入的數據服務無縫集成,打通了數據湖和數據倉庫之間數據移動和訪問,并且進一步實現了數據在數據湖、數據倉庫,以及在數據查詢、數據分析、機器學習等各類專門構建的服務之間按需移動,從而形成統一且連續的整體,滿足客戶各種實際業務場景下的不同需求。亞馬遜云科技“智能湖倉”架構具有靈活擴展、專門構建、數據融合、深度智能和開源開放五大特點,涵蓋數據源、數據攝取層、存儲層、目錄層、數據處理層和消費層六層架構,可幫助客戶輕松應對海量業務數據,充分挖掘數據價值。
亞馬遜云科技大中華區云服務產品部總經理顧凡表示,“大數據對于現代商業的影響不言而喻。用戶期盼從數據中獲得洞察,但同時也面臨數據存儲、處理和分析等方面的諸多挑戰,例如數據指數級增長、數據來源不一、數據類型多元化等等。面對細分的應用場景,目前市面上單一、通用的數據解決方案在性能上會有所妥協,很難滿足客戶的真實需求,用戶亟需融合了易用、易擴展、高性能、專門構建、安全及智能等特性于一體的新一代數據管理架構。亞馬遜云科技‘智能湖倉’架構在打通數據湖和數據倉庫的基礎上,進一步將各種數據服務無縫集成,確保數據在不同服務之間順暢流動,致力于幫助客戶盡可能最大程度地提高其數據價值,加速創新,并成為數據驅動型組織。“
亞馬遜云科技榮膺中國數據管理解決方案領導者
亞馬遜云科技的數據及數據分析服務不斷獲得行業和第三方機構認可。此前,全球知名的企業增長咨詢公司沙利文中國聯合頭豹研究院發布了《2020年中國數據管理解決方案市場報告》,其中亞馬遜云科技憑借創新的技術、靈活的數據管理、云上安全、全球商業實踐,被評為中國數據管理解決方案領導者。該報告針對成長指數(功能成長)、創新指數(能力創新)、基本指數(基本數據分析能力)三大維度,對競爭主體旗下數據管理解決方案競爭力進行了評估。亞馬遜云科技不僅綜合實力排名第一,且三項指數均名列第一。
亞馬遜云科技“智能湖倉”架構實現“數據入云,融合智能”
亞馬遜云科技“智能湖倉”架構以Amazon Simple Storage Service(Amazon S3)為基礎構建數據湖,作為中央存儲庫,圍繞數據湖集成專門的“數據服務環”,包括數據倉庫、機器學習、大數據處理、日志分析等數據服務,然后再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等工具,實現數據湖的構建、數據的移動和管理等。亞馬遜云科技“智能湖倉”架構具有以下五個特點。
靈活擴展,安全可靠。亞馬遜云科技“智能湖倉”架構用Amazon S3作為數據湖的存儲基礎,客戶可根據不斷變化的需求,靈活擴展或縮減存儲資源。Amazon S3可達到 99.999999999%(11 個 9)的數據持久性,且具有強大的安全性、合規性和審計功能。
專門構建,極致性能。為了滿足客戶不同的數據分析需求,亞馬遜云科技提供全面而深入的、專門構建的數據分析服務,包括交互式查詢服務Amazon Athena、云上大數據平臺Amazon EMR、日志分析服務Amazon Elasticsearch Service、Amazon Kinesis、云數據倉庫Amazon Redshift等。這些專門構建的數據分析服務為客戶提供了極致性能,客戶在使用過程中不必在性能、規模或成本之間做出任何妥協。其中Amazon Redshift的性價比是其他企業云數據倉庫的三倍,AQUA(分布式硬件加速緩存)使 Redshift 查詢的運行速度比其他其他云數據倉庫最高快 10 倍;Amazon EMR運行大數據處理及分析服務的成本不到傳統本地解決方案的一半,但其速度比標準 Apache Spark 快 3 倍以上。
數據融合,統一治理。亞馬遜云科技“智能湖倉”架構不止是打通了數據湖、數據倉庫,還進一步將數據湖、數據倉庫以及所有其它數據服務組成統一且連續的整體。在實際應用場景中,數據需要在這些服務與數據存儲方案之間,以及服務與服務之間按需來回移動,跨服務訪問。亞馬遜云科技“智能湖倉”架構降低了數據融合與數據共享時統一安全管控和數據治理的難度。其中,Amazon Glue提供數據無縫流動能力,Amazon Lake Formation提供了快速構建湖倉、簡化安全與管控的全面數據管理能力。
敏捷分析,深度智能。亞馬遜云科技將數據、數據分析服務與機器學習服務無縫集成,為客戶提供更智能的服務。例如Amazon Aurora ML、Amazon Redshift ML、Neptune ML等,數據庫開發者只需使用熟悉的 SQL 語句,就能進行機器學習操作;Amazon Glue、Amazon Athena ML、Amazon QuickSight Q等,可以幫助用戶使用熟悉的技術,甚至自然語言來使用機器學習,幫助企業利用數據做出更好的決策。用戶還可以通過機器學習服務Amazon SageMaker、個性化推薦服務Amazon Personalize等挖掘數據智能。
擁抱開源,開放共贏。亞馬遜云科技“智能湖倉”架構中的關鍵組件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的核心都基于開源代碼,接口與開源完全兼容,無需改變任何代碼就可以實現遷移,也兼容主流的管理工具。OpenSearch 基于開放的Apache2.0 授權,其代碼完全開放,用戶可以免費下載使用并獲得企業級的功能。這些服務允許用戶在轉型過程中,以非常低的改造成本向云端遷移。
亞馬遜云科技賦能全球數以十萬計的客戶重塑大數據
目前,全球數以十萬計的客戶選擇亞馬遜云科技進行數據管理及分析。在中國,TCL、豐田互聯、欣和、德比軟件、安克創新、啟元世界等各行業客戶,正在采用亞馬遜云科技數據相關服務,開展數據治理及數據價值挖掘。其中, TCL基于亞馬遜云科技“智能湖倉”架構搭建的解決方案,將傳統的數據庫、數據倉庫與數據湖打通,消除了數據孤島,讓全品類IoT設備的數據和業務系統實現了互聯互通,海外業務與國內業務實現了數據統一。TCL使用了亞馬遜云科技廣泛的云服務,包括:使用Amazon S3構建數據湖,通過大數據分析服務Amazon EMR、Amazon Redshift和機器學習服務獲得數據洞察等。通過使用亞馬遜云科技專門構建的數據分析服務,之前需要一周才能完成的復雜數據報表,現在僅需要1-2小時;每天運行300個以上的作業產生 200多個BI報表,為運營和數字化營銷提供有力支撐。
啟元世界(北京)信息技術服務有限公司是一家領先的人工智能平臺公司,公司擁有深度學習、強化學習等自主研發的核心技術和產品,以SaaS的形式,為國內多家知名的游戲公司提供虛擬玩家陪玩、游戲商品推薦、關卡數值設計、游戲內容生成等服務。啟元世界使用了亞馬遜云科技全棧的數據分析服務進行高效開發部署,保障業務快速穩定發展。
啟元世界CTO龍海濤表示,“作為一家領先的AI公司,我們希望把更多精力聚焦在算法迭代與產品打磨,我們需要成熟、穩定、免運維的大數據托管服務。亞馬遜云科技智能湖倉通過數據的融合,專門構建的分析工具,可靠高效地支撐了我們敏捷的業務迭代,其中Amazon Kinesis實現了分鐘級部署,并承載百萬QPS(每秒查詢率)流數據;Amazon EMR、Amazon Managed Workflows for Apache Airflow使批處理運行的時間減少了80%,運營總成本下降了50%;Amazon Glue 、Amazon Athena、Amazon QuickSight等服務實現了即席查詢秒級響應。”
亞馬遜云科技構建了強大的合作伙伴網絡,通過合作伙伴網絡成員構建行業數據管理解決方案。上海馳騖 (ChiefClouds) 信息科技有限公司,是國內領先的消費者數據營銷平臺供應商,為企業搭建消費者數據平臺(CDP),以此為基礎構建覆蓋數字媒體和陣地運營、CRM、智慧導購等場景的全渠道和全鏈路消費者運營體系。馳騖科技創始人兼CEO 程華奕表示,“作為企業級數據管理平臺的實踐者,我們非常認可亞馬遜云科技的智能湖倉架構。以Amazon S3為核心的數據基礎平臺,讓我們在服務客戶時,在數據安全性、可靠性、性能和擴展性等方面都沒有后顧之憂。亞馬遜強大的數據分析管理工具組合,讓我們能夠對各種數據處理和分析游刃有余,快捷、高效地利用機器學習挖掘數據智能,服務于客戶的業務創新。“
亞馬遜云科技半年內在中國區域新增的近40項數據及數據分析相關的服務及特性,進一步強化了亞馬遜云科技數據以及數據分析相關服務組合。其中,Amazon Glue 2.0 版本將作業啟動時間縮短了10 倍,并且可提供1分鐘最短計費持續時間,Amazon Athena 2.0 包括多項性能改進和新功能,Amazon Lake Formation在寧夏區域推出(去年底在北京區域推出),Amazon Redshift、Amazon EMR、Amazon Elasticsearch Service、Amazon SageMaker等均發布了諸多新特性。