2012年3月19日—26日,我們參加中國電子學會云計算專家委員會組織的“云計算美國之行”訪問團,到西雅圖和舊金山兩地拜訪美國多家云計算相關公司,其中既有Amazon、微軟、Google、Facebook、Rackspace這樣的行業巨頭,也有Heroku、Engine Yard、Puppet等新興云計算公司,還包括CloudCamp為代表的美國云計算社區。雖然行色匆匆,難以進行非常深入的交流,但接觸面比較廣,對美國云計算產業和技術的發展情況有了更多直觀認識。
微軟
我們到訪的第一站是位于西雅圖的微軟總部。企業IT走向云計算已成為大勢所趨,所以微軟與軟硬件巨頭IBM、HP、Oracle、Dell一樣,都在積極布局云計算技術、產品和平臺,或收購,或積極研發。
為什么現在云計算如此重要?負責微軟企業云戰略的Rolf Harms從經濟學角度給出了答案:
Cloud = doing what you do today for less
Cloud = doing what you do today better
Cloud = doing things you can’t do today
微軟自己的官方網站Microsoft.com遷移到Azure平臺后,成本降低了90%,可用性從99.1%提高到99.997%,部署時間卻從數周下降到45分鐘,改善巨大。
Harms的介紹中有一幅圖講述私有云和公共云的不同使用場景,非常清晰,如圖1所示。
圖1 私有云與公共云適用場景
而長遠看,公共云相比私有云具有明顯的價格優勢,如圖2所示。
圖2 私有云與公共云成本比較
云計算大戰的焦點之一,是如何降低數據中心的建設和運營成本以及環保問題。Facebook開源Open Compute項目更加劇了數據中心技術方面的競爭。微軟也大幅投資云計算數據中心,發展新一代數據中心。這次我們有幸參觀了微軟在Redmond Ridge的研發數據中心,各方面都非常先進,雖然設備的密度極大(52U/rack),PUE值仍然能夠達到1.17。應該說,在純粹設備上國內并不落后,但這個數千平米的數據中心只有10人負責運營,而支撐Azure平臺的主力Quincy數據中心,占地47萬平方英尺,運營人員也只有35人,自動化程度驚人。另外負責人介紹,由于設備密度太大,思科現有的交換機已經無法支持,必須開發新一代。
圖3 Gartner的IaaS魔力象限
Amazon
云計算的理念其實已經發展了很多年,而作為一個術語而流行始自2006年,但至今仍然免不了眾說紛紜,這一點國內外情況倒是差不多。云管理平臺企業enStraus副總裁Bernard Golden在美國CIO圈子里頗有名氣,他在交流中說到一個很有意思的現象:很多大公司的CIO雖然一方面口口聲聲云計算還不安全,不能輕率采用,可另一方面已經非常普遍地使用Salesforce、Workday等SaaS軟件管理客戶和員工等最敏感的信息。不過他也承認,雖然在美國云計算已經成為主流,但大家還是免不了不斷的分歧與紛爭,因為有太多背景不同的廠商和人說自己在做云計算。
圖4 AWS歷年發布的服務(出自Jeff-Barr的演示稿)
但有一點是大家都有共識的,那就是Amazon已經在公共云領域比較穩固地建立了自己的優勢。2011年12月Gartner的研究表明,AWS自2006年推出以來,一直保持高速的產品研發節奏。AWS云平臺無論在執行能力還是在前瞻性上,都在IaaS提供商中處于領先地位。而且它也在向PaaS擴張。
與此對應的是,AWS驚人的指數型發展速度。由圖5可見,截止到2011年底,Amazon S3已存儲了7620億對象,年增長率達到192%,而且還在不斷加速。另外,據美國調查公司451Group的報告,AWS已經占據了美國59%的IaaS市場份額。
圖5 Amazon S3所存對象數的增長(出自Jeff Barr的演示稿)
雖然Amazon很少公布圖5那樣具體的規模數字,但我們還是可以從各種渠道做一些估算。此前Accenture的Huan Liu曾估算AWS的服務器可能有44.5萬臺,但一般都認為這個數字可能偏高。James Hamilton去年6月曾透露,AWS當時每天增加的容量足可以支持Amazon最初頭五年全球運營,而那時公司營收已經接近30億美元了。另據4月中旬DeepField的數據,現在每天有1/3的美國互聯網用戶至少訪問一次AWS,它還占據了1%總互聯網流量,并已經是全球第四大CDN。
拜訪Amazon云計算部門時得知,它現在約有2000多人(其中有相當比例是銷售人員),今年還準備擴招500人左右。有熟悉美國企業運作的同行者據此粗略算出,Amazon今年的營收目標至少應該是20億美元。而2011年Gartner對此數字的估計是10億。發展速度的確驚人。
云計算最初的用戶主要是新興公司,但現在大型互聯網企業和許多大型公司也已經轉向AWS。其中視頻服務商Netfilix是一個經典案例,這個流量巨大的網站完全放棄了自建數據中心。利用AWS做海量存儲、大數據分析和容災備份的就更多了:SAP、Adobe、三星、愛立信、日立、趨勢……
值得注意的是,除了Web應用和海量數據領域,AWS近年也在開拓面向企業云服務的產品,IBM、Microsoft、Oracle、SAP的全線商業產品和各開源產品的都可部署在AWS云服務上。4月底,Amazon又推出應用商店AWS Marketplace,由Amazon負責統一計費,更加方便用戶。
Rackspace與OpenStack
此次我們也訪問了Rackspace在舊金山的辦公室。Rackspace是韓裔美國人Richard Yoo于1998年創辦的,最初只是一家普通的ISP。在傳統的主機托管廠商之中,較早轉型云計算,也成為IaaS領域另一個領導性廠商,市值接近80億美元,2011年營收超過10億美元。最近他們透露,總服務器數已經超過8萬臺,云計算方面已經占到總業務的兩成以上,據估計,它的規模是Amazon云平臺的五分之一。
圖6 與Rackspace創業者關系負責人Robert Scoble合影
Rackspace在云計算領域的領導地位還有一個重要原因——它是目前關注度最高的開源云計算項目之一OpenStack的主要發起者和實際領導者。而OpenStack的核心開發人員有些就在舊金山辦公室。到訪當天他們顯得很忙,未及深談,后來得知,不久后第五個OpenStack版本Essex發布了。
從技術上說,OpenStack其實與其他開源云技術項目相比并不具備絕對優勢。但由于擁抱開源早,路線圖明確,很快獲得了急需IaaS和私有云平臺技術的眾多廠商的支持。很大程度上,OpenStack已經成為抗衡Amazon霸主地位的陣營中堅。當然,社區運營和生態系統建設方面,OpenStack也有很多成功經驗可供國內企業借鑒。現在參與開發的公司除了Rackspace、Nebula之外,還有Red Hat、Nicira、HP、Canonical、DreamHost、新浪、維基百科、思科甚至Citrix。
在美國的交流中,我們發現除了大家言必稱OpenStack之外,VMware主導的開源PaaS項目Cloud Foundry的關注度也較高。有趣的是,兩者都將自己的目標定為成為云時代的Linux。相比之下,Citrix最近捐獻給Apache的CloudStack(主要創始人是當年Sun JVM的作者Sheng Liang)和老牌的Eucalyptus的人氣就差了很多,但它們都與AWS兼容,可以列入Amazon陣營。這三大生態系統之間如何競合,將是云計算的大看點之一。
云計算推動創業
比AWS等云平臺本身發展更重要的是,它們已成為美國云計算和創業生態系統的基石。由于云平臺的存在,加上移動互聯網的重大機遇,大量創業公司得以迅速興起,硅谷、紐約、波士頓等各地,到處一派繁榮景象。比如在舊金山,我們到訪的一座不起眼的四層小樓里,《Wired》雜志、Wikia和Engine Yard都在其中。AWS的客戶名單(數以十萬計)中包括許多美國當前熱門公司(其他多是廣告平臺):Pinterest、Dropbox、Instagram、Reddit、Zynga……
圖7 AWS上每天訪問量最大的客戶(出自DeepField的演示稿)
這些新興企業的網絡服務就架設在AWS平臺上,從而免除了“為了讓燈亮起來就要在IT上花費80%的時間和成本”(Gartner語),可以專注于開發應用、滿足用戶需求。比如,最近剛以10億美元(因為大部分是股票,實際價值可能更高)被Facebook收購的Instgram,其技術方案大量采用AWS(主機選擇Amazon EC2,圖片數據庫采用Amazon S3,CDN選用Amazon CloudFront等)。所以雖然Instgram只有13名員工(工程團隊僅3人),卻構建了最強大的移動端圖片分享平臺,甚至讓Facebook感到了威脅。
除了面向消費者的互聯網和移動應用之外,云計算也為技術提供商創造了機遇。本次訪問中我們在CloudCenter巧遇Puppet創始人Luke Kanies,并進行了簡短的交流。他是一位資深的系統管理員,后轉開發,2003年用沒學多久的Ruby寫出Puppet,是DevOps的最初推動力之一。后以此辭職創業,因為采用開源模式,最初三年公司基本沒有收入,是苦苦撐下來的。今天,Puppet已經用于Google、Twitter、Zynga等數千企業,2011年底累計融資2500萬美元。Puppet的勁敵,是Amazon的災難處理大師Jesse Robbins開發的Chef,但他本人現在只擔任Opscode的首席社區官。而Rackspace舊金山辦公室的負責人Alex Polvi也是系統管理員出身的成功創業代表,他的云管理和監控服務CloudKick去年被Rackspace收購。
圖8 AWS其實已經不只是IaaS
值得注意的是,Amazon現在已經并不限于Infrastructure這一層。從圖8中還可以很清楚地看到,它也在同時向Platform層發展,加入很多管理和監控服務。這毫不奇怪,IaaS公認利潤不高(雖然比Amazon的老本行還是要高一些),PaaS和SaaS才是肥沃之地。而且從用戶的角度來看,一站式的服務永遠是有吸引力的。
但基于AWS的各種第三方PaaS服務仍然在繁榮發展,我們這次訪問的Engine Yard和Heroku都是其中的優秀代表。
Engine Yard是歷史最久規、模最大的PaaS平臺,有Amazon投資。目前付費用戶超過2400個,包括Apple iTunes在歐洲的平臺也依靠它們支撐。目前90%的應用為Ruby,其次也支持PHP和Node.js。
而Heroku則是一家以用戶體驗和技術精湛而著稱的PaaS公司,最初主要支持Ruby(Ruby創始人Matz是其首席架構師),現在也覆蓋了Python、Java、Scala和Node.js。2010年以2.12億美元賣給Salesforce,是云計算平臺領域最大的并購之一。但有意思的是,收購已經過去一年多,Heroku仍然獨立經營,只是從最初的地址搬到了旁邊一座更大的樓里,完全保持創業公司的樣子,而且平臺也絲毫沒有要從AWS遷移到自家Salesforce基礎設施的打算。同樣有趣的是,Facebook不是自建平臺,而是在2011年9月與Heroku合作,讓后者為Facebook上的社會化應用開發者提供PaaS服務。為了這次合作,Heroku特別增加了PHP支持。而合作也為Heroku帶來豐厚回報:用戶激增,平臺上的應用數超過140萬。
有競爭,但合作共贏是主流,大家把更多精力放在產品和創新,為用戶提供更好體驗上。這種和諧共生的現象,尤其令我們這些見慣了亂景的中國人印象深刻。
今天,一個普通的技術人員可以短時間內借助云計算平臺,擁有和巨人對手們相同的計算資源,實現夢想,這才是云計算的真正價值所在。我們需要共同為之努力。