自上世紀(jì)八十年代起,隨著全球科技、文化和經(jīng)濟(jì)的發(fā)展,人類社會逐漸開始從工業(yè)化社會向信息化社會過渡;自九十年代中期起,經(jīng)濟(jì)全球化趨勢推動(dòng)信息技術(shù)高速發(fā)展,以Internet 為代表的信息技術(shù)開始大規(guī)模應(yīng)用于商業(yè)領(lǐng)域。在全球經(jīng)濟(jì)持續(xù)發(fā)展與增長的同時(shí),企業(yè)信息化過程中暴露出來的問題亦逐漸凸現(xiàn),如復(fù)雜的管理模式、失控的運(yùn)營成本、困難的擴(kuò)展支撐等等。由此應(yīng)運(yùn)而生的解決方案即是以便利低廉的服務(wù)方式提供從基礎(chǔ)架構(gòu)到軟件應(yīng)用、從數(shù)據(jù)到計(jì)算能力的各類資源,日益受到越來越多的 用戶,尤其是中小企業(yè)的歡迎。
2005 年11 月2日,Amazon 正式發(fā)布其首個(gè)Web服務(wù):Amazon Mechanical Turk,白駒過隙、光陰荏苒,數(shù)年間,Amazon陸續(xù)推出了30 余種豐富多樣的Web 服務(wù),擁有遍布190 多個(gè)國家的數(shù)十萬用戶,預(yù)期2015年的營收有望達(dá)到26億美元,成為云計(jì)算業(yè)務(wù)事實(shí)上的執(zhí)牛耳者。
本文將介紹Amazon Web Services12個(gè)門類共33種云計(jì)算產(chǎn)品與服務(wù),關(guān)注基于AWS的多種解決方案,最后淺談了一下作者本人對AWS 未來發(fā)展方向的想法。
亞馬遜的AWS業(yè)務(wù)可以分為如下幾個(gè)大類:
計(jì)算類(EC2、EMR、Auto Scaling、ELB)
存儲類(S3、EBS、Glacier、Import/Export……)
網(wǎng)絡(luò)類(VPC、Route 53、Direct Connect)
內(nèi)容分發(fā)類(CloudFront)
數(shù)據(jù)庫類(RDS、DynamoDB、SimpleDB、ElastiCache)
部署與管理類(IAM、CloudWatch、Elastic Beanstalk、CloudFormation)
市場類(MarketPlace)
等等……
舉例說說亞馬遜AWS的大數(shù)據(jù)處理服務(wù)EMR(Amazon Elastic MapReduce)
簡介:
Amazon EMR使用Hadoop 作為其分布式處理的引擎,通過在EC2 &S3 上架構(gòu)Hadoop框架來提供大數(shù)據(jù)處理服務(wù),即在EC2 實(shí)例集群上(如果超過20 個(gè)實(shí)例,需要另提申請)運(yùn)行MR 任務(wù),并將用戶的處理程序、源數(shù)據(jù)及處理結(jié)果存儲在S3 上,也可選擇保存在Amazon DynamoDB 中。
Amazon EMR允許用戶使用Java/C++/Perl/Ruby/Python/PHP/R等語
言編寫自己的處理程序。Amazon EMR 的應(yīng)用非常簡單,例如最常用的,用戶可使用Java編寫Mapper/Reducer,將編譯好的Jar 包和源數(shù)據(jù)上傳到S3,然后通過EMRCLI 或API啟動(dòng)一個(gè)JAR工作流來執(zhí)行程序獲得結(jié)果;也可以使用Python、Ruby 或PHP 等編寫Mapper/Reducer,將編好的程序和源數(shù)據(jù)上傳到S3,然后通過EMR CLI 或API啟動(dòng)一個(gè)Hadoopstreaming工作流來執(zhí)行程序獲得結(jié)果,結(jié)果也將被寫到用戶在S3 上bucket 中;又如,用戶可以編寫Hive 腳本來創(chuàng)建一個(gè)Hive 工作流處理數(shù)據(jù)。用戶可通過AWS 管理控制臺來監(jiān)控工作流的運(yùn)行情況,工作流的狀態(tài)信息保存在Amazon SimpleDB 中。
特點(diǎn):
Amazon EMR 除了具有AWS 所共有的彈性、可靠、低成本等特點(diǎn)外,與包括Amazon EC2、S3、DynamoDB在內(nèi)的相關(guān)AWS 也實(shí)現(xiàn)了無縫集成,同時(shí),EMR 還集成了大量第三方工具,提供包括SQL 查詢、數(shù)據(jù)分析在內(nèi)的諸多功能。