在 AWS re:Invent 大會上,亞馬遜 (Amazon.com) 公司旗下的 Amazon Web Services, Inc. (AWS) 發布兩項新功能,幫助客戶更快速和更經濟劃算地向 AWS 云遷移任意類型和規模的數據。AWS Snowball 是可安全地向 AWS 導入或從 AWS 導出 50 TB/設備數據的PB級數據傳輸設備。Amazon Kinesis Firehose 是向 AWS 加載流數據的全面托管服務(面向 Amazon S3 和 Amazon Redshift 今日即可用,面向其他 AWS 數據存儲的功能即將推出)。若要更多地了解 AWS Snowball 和 Amazon Kinesis Firehose,請訪問: https://aws.amazon.com/new/reinvent/data-transfer/。
目前,客戶正向 AWS 云遷移越來越多的應用和大量數據,從應用日志到數字媒體、基因組和來自聯網設備的PB級傳感器數據。AWS Direct Connect 向客戶提供 AWS 網絡專用快速連接的同時,AWS Snowball 和 Amazon Kinesis Firehose 適合需要大批量傳輸數據、有數據位于分散位置或需要持續加載流數據的客戶。借助 AWS Snowball 和 Amazon Kinesis Firehose,現在 AWS 客戶有兩種新方式向 AWS 云更方便且經濟劃算地遷移大數據集和流數據。
亞馬遜AWS 存儲服務副總裁Bill Vass表示:“對公司來說,目前沒有比借助 AWS 云采集、存儲、分析和共享數據更方便或更經濟劃算的方式。客戶已認識到他們的數據包含可形成競爭優勢的關鍵洞察力,他們希望盡快將盡可能多的數據導入 AWS。AWS Snowball 和 Amazon Kinesis Firehose 向客戶提供兩個更重要工具,將他們的數據導入 AWS。”
AWS Snowball:向 AWS 安全遷移大量數據的最快方式需要向 AWS 傳輸大量數據的客戶面臨挑戰 – 上傳數據所花的時間。例如,如果公司使用 100 兆位/秒總帶寬容量向 AWS 傳輸數據,通過該連接傳輸 100 TB 數據大約需要 100 天。公司可以選擇花更多錢擴展帶寬容量或升級網絡,但大多數人不想為了支持向云發送更多數據,就采取這種簡單(但昂貴)的方法。現在,借助 AWS Snowball,這款堅固耐用且防篡改的加密便攜式存儲設備,客戶在一周之內即可向 AWS 遷移 同樣的100 TB 數據,僅需高速互聯網使用五分之一的成本。客戶使用 AWS 管理控制臺創建任務,AWS 直接向客戶發送設備,一旦收到設備,客戶簡單地將其插入本地網絡。AWS Snowball 提供客戶可用于加密 50TB 數據并向每臺設備傳輸的簡單數據傳輸客戶端。客戶可并行使用多臺 AWS Snowball 設備在相同時限內傳輸更大數據集。一旦在 AWS Snowball 上完全加載客戶數據,其電子墨水運輸標簽與 AWS 運輸地址自動更新,客戶可利用 AWS 簡單通知服務 (SNS)、短信或 AWS 管理控制臺跟蹤傳輸任務狀態。
AWS Snowball 設備使用多重安全保護客戶數據。除防篡改封裝之外,AWS Snowball 還使用端到端 256 位加密以及設計為確保客戶數據安全和全監管鏈的行業標準可信平臺模塊 (TPM)。一旦已從 AWS Snowball 向 AWS 數據存儲(初始 Amazon S3)傳輸客戶數據,按照美國國家標準與技術研究院 (NIST) 介質清除指南定義的標準,AWS 從 AWS Snowball 設備擦除全部數據。在刪除本地數據副本之前,客戶可獲得報告并確認已向 AWS 成功地加載全部數據。
BuzzFeed 是向超過 2 億獨立月度訪客和 15 億以上觀眾制作并分發原創新聞、娛樂和視頻的全球性媒體公司。BuzzFeed 技術運營總監Eugene Ventimiglia表示:“作為全球最大媒體公司之一,BuzzFeed 生成我們需要保存和維護的大量內容。我們希望實施基于 Amazon Glacier 的歸檔解決方案,但我們的 250TB 歸檔數據實在太多、無法在單個磁盤驅動器上遷移數據并且使用高速互聯網的確會耗時過長。AWS Snowball的發布,完全改變了我們的思維,現在我們有簡單、安全且經濟劃算的方式在一周內向 AWS 遷移整個 250TB 數據庫。”
索尼 Ci 媒體云平臺提供分發、協作和專業媒體工作流轉型。索尼專業解決方案部美洲區副總裁David Rosen表示:“我們的許多客戶有PB數據和受限帶寬,這已成為他們向索尼媒體云 (Ci) 遷移一些最沉重媒體工作流的障礙。AWS Snowball 有潛力徹底解決該問題。從我們早期觀察 AWS Snowball 來看,能夠安全且經濟劃算地替代互聯網向 AWS 傳輸我們擁有的大量媒體資產,我們對這一前景倍感興奮。”
Amazon Kinesis Firehose:向 AWS 輕松加載數據流移動設備、軟件應用與服務、可穿戴設備、工業傳感器和 IT 基礎設施生成數量驚人的數據 – 有時每小時可達數 TB。2013 年,AWS 發布 Amazon Kinesis Streams 讓客戶構建應用采集、處理和分析吞吐量極高的流數據。許多客戶使用 Amazon Kinesis Streams 捕獲數據并載入 Amazon S3 或 Amazon Redshift。到目前為止,這要求客戶管理 Amazon Kinesis 數據流并編寫自定義代碼加載數據。現在,Amazon Kinesis Firehose 讓這些像應用編程接口 (API) 調用一樣方便。Amazon Kinesis Firehose 捕獲來自數十萬不同來源的數據并將其直接實時地載入 AWS。客戶在 AWS 管理控制臺中簡單地創建 Amazon Kinesis Firehose 分發流并指定 Amazon S3 目標桶或 Amazon Redshift 表和他們希望向目的地分發新數據的時間頻率。客戶還可配置 Amazon Kinesis Firehose 在分發前按指定時間間隔批處理、壓縮和加密流數據。
赫斯特國際集團是全球最大媒體與信息公司之一,在全世界有超過 250 個基地。赫斯特國際集團數據服務副總裁Rick McFarland表示:“我們監測公司數字財產的趨勢性內容并且每天生成TB級的數據流。這是我們公司的’數據貨幣’并且幫助我們的商業智能和產品開發。讓我們感到興奮的是,我們能夠讓 Web 服務器群僅指向 Amazon Kinesis Firehose,它負責全部流數據聚合、壓縮和向 Amazon S3 分發,無需我們進行任何干預。這將降低我們數據管道的操作復雜性并讓我們專注于分析,這樣我們能夠向客戶提供最佳內容。”
AWS Snowball 和 Amazon Kinesis Firehose 今日上市。客戶可訪問 aws.amazon.com/importexport/request-access 網站申請AWS Snowball 設備。客戶可使用 AWS 管理控制臺、AWS 命令行界面 (CLI) 或 AWS 軟件開發包 (SDK) 訪問 Amazon Kinesis Firehose。Amazon Kinesis Firehose 初期在美國東部(弗吉尼亞北部)、美國西部(俄勒岡)和歐盟(愛爾蘭)區域上市,未來幾個月將擴展到其他區域。