以“大數據”為首的新興技術使人類社會的數據種類和規模正以前所未有的速度增長,數據的產生已經完全不受時間、地點的限制,數據開始從簡單的處理對象轉變為一種基礎性資源。企業甚至于政府機構等都選擇擁抱大數據,爭相迎接大數據新時代。
然而,玩轉“大數據”是需要云計算技術在數據存儲管理與分析等方面的強力支撐的。而作為全球領先的云計算服務提供商,亞馬遜AWS在面對大數據趨勢時表現得更加從容和淡定。亞馬遜AWS擁有最完整的大數據平臺,可提供一個廣泛的托管服務,幫助用戶快速、輕松地構建并保護大數據應用程序。無論用戶的應用程序是需要實時流式處理、批量數據處理,亦或是需要結構化數據和非結構化數據,亞馬遜AWS都能提供完善的基礎設施和工具來處理用戶的大數據項目。下面的三個案例可以說明亞馬遜AWS在大數據處理和應用上所具有的價值和貢獻。
幫助頂級視頻網站應對內容暴增挑戰
作為國內領先的視頻網站,愛奇藝自2010年正式上線以來便構建了涵蓋電影、電視劇、綜藝、動漫、紀錄片等十余種類型的視頻內容庫。隨著數量的急劇增長,這些視頻內容已達PB量級,也致使愛奇藝自己的存儲系統開始面臨諸多挑戰。愛奇藝副總裁劉文峰說,“坦率地講,Amazon Glacier是我們的不二之選。”
使用Amazon Glacier作為冷備系統之后,愛奇藝的視頻數據和日志文件歸檔流程得到了極大的簡化。除此之外,歸檔數據的安全可靠是Amazon Glacier帶來的最大好處,這使得愛奇藝可以放心地把關鍵的視頻數據和日志文件存放在云端。此外,AWS分布在世界各地的數據中心也為愛奇藝的全球化服務提供了強有力的支持。
助力全球最大股票市場處理全球交易數據
而作為世界最大的股票市場之一,納斯達克也在每天用亞馬遜AWS大數據平臺收集、處理和分析數十億條記錄。自亞馬遜AWS于2006年成立以來,納斯達克便成為了其忠實的用戶。目前,納斯達克平均每天有50多億條數據記錄要運行到Amazon Redshift;甚至在2014年的10月,一天的數據處理峰值竟然達到了140億條。
除此之外,納斯達克還運用了Amazon S3 and Amazon EMR來實現獨立的數據計算和托管。Amazon S3擁有近乎99.999999999%的完美拓展性,可以不用花費太多成本,便可以讓數據橫跨多個區域、在不同的數據中心間自由穿梭。而且,納斯達克在Amazon EMR上的運用使得部署和管理Hadoop集群變得十分簡單。其可以根據自身企業需要,自由地控制集群的增長或者收縮,甚至在周末或假日期間將其關閉。亞馬遜AWS給予了納斯達克在大數據處理和維護上無限可能。
推動互聯網公司全球創新和擴張
不僅如此,近期一個很火的旅行房屋租賃網站及應用——Airbnb,也正在通過亞馬遜AWS的大數據平臺來逐步完善和升級自身的服務系統。為了支持需求,該公司將 200 個 Amazon Elastic Compute Cloud (Amazon EC2) 實例用于其應用程序、內存緩存和搜索服務器。為了每天輕松處理和分析 50 GB 的數據,Airbnb 使用了 Amazon Elastic MapReduce (Amazon EMR)。Airbnb 還使用 Amazon Simple Storage Service (Amazon S3) 存儲備份和靜態文件,包括 10 TB 的用戶照片。
此外,Airbnb 已將其主要的 MySQL 數據庫遷移到了 Amazon Relational Database Service (Amazon RDS)。Airbnb 只需 15 分鐘的停機時間就可以將其整個數據庫遷移到 Amazon RDS。這種快速轉換對于快速增長的 Airbnb 非常重要。Airbnb 的工程師 TOBI Knaup 說:“因為使用了 AWS,我們一直可以輕松(在所需時間和成本方面)擴展我們的站點。”
毫無疑問,亞馬遜AWS能夠利用自身成熟技術,幫助企業自如地迎接大數據挑戰。更有價值的是亞馬遜AWS可以通過技術和平臺,激發用戶創新,“玩轉”大數據,讓企業在暗涌翻騰的大數據時代立于不敗之地。當然,這是用戶的成功,也是亞馬遜AWS的勝利。