美國知名IT雜志《連線》網絡版周三刊登長篇深度文章,披露了谷歌網絡服務基礎架構的幕后負責人及相關故事,并指出從某種意義上講,谷歌就是施樂PARC研究中心的當代繼承人。
以下為文章全文:
杰夫·迪恩(左)和桑杰伊·格馬瓦特(右)
2007年4月1日的西方愚人節,有關“惡搞”杰夫·迪恩(Jeff Dean)的真相被披露出來。
在谷歌內部某個地方,一個私人網站記錄了有關迪恩事跡的詳細列表。迪恩是谷歌最早一批員工之一,同時也是谷歌為何能夠比任何其他互聯網公司處理更多流量的幕后干將。這個私人網站僅針對谷歌員工開放,但鼓勵所有員工在該網站中添加有關迪恩事跡的信息。許多員工也積極響應。
谷歌員工添加的一條信息這樣寫道:“迪恩曾經沒能通過一次杜林(Turing)測試,當時他在不到一秒鐘內成功確認了第203號Fibonacci數字。”
另一條信息這樣寫道:“在每次提交代碼之前,迪恩都會進行相應匯編和運行工作。只是他這樣做的目的,主要是為了檢測一下匯編器和CPU漏洞。”
第三條所添加信息為:“真空中的光速過去曾被認為是每小時35英里左右。于是迪恩花了一個周末時間來優化相關物理性質。”
當然,這些信息也算不上是什么事跡,但這些情況皆為不虛。對谷歌而言,愚人節是個神圣的節日。與任何其他高質量的愚人節笑話一樣,谷歌的惡作劇也是有其事實依據。這個私人網站是由一位名為肯頓·瓦爾達(Kenton Varda)的谷歌工程師所組建,在他將該網站鏈接發給谷歌所有其他員工時,瓦爾達刻意隱瞞了自己的身份。但不久之后,瓦爾達就接到了迪恩發來的信息,原因是迪恩通過查找隱藏在谷歌服務器當中的數字腳印,進而了解到該網站的組建者為瓦爾達。
在谷歌內部,迪恩可謂備受尊敬。但在整個美國科技產業,知道迪恩的人卻寥寥無幾。只是迪恩不應該被世人遺忘。迪恩是谷歌內部一個小型軟件工程師團隊成員之一,該團隊負責谷歌基礎軟件和硬件的開發工作,正是這些工作致使谷歌在互聯網產業領域取得了優勢地位,且不斷被后來者模仿。更不用說,還有大量后來者希望取代谷歌的強勢地位。
由此我們不由想起了施樂PARC研究中心的故事。該研究中心曾開發了PC產業的多項核心技術,如圖形用戶界面、激光打印機、以太網和面向對象編程等等。只是與PARC不同的是,谷歌不會向競爭對手公開其數據中心的最新技術,且諸如迪恩等人又很低調,因此外界對于谷歌給當代計算產業帶來的基礎性影響了解并不是很多。或許可以這樣講:谷歌就是云計算時代的PARC研究中心。
美國華盛頓大學粒子物理學助理教授、科技公司Cloudant首席科學家邁克·米勒(Mike Miller)表示:“在貝爾實驗室、施樂PARC研究中心‘氣數將盡’之時,谷歌將一大批極有創新能力的人才招致麾下。谷歌挖走的并不僅僅是這些實驗室的研究人員,而且也是這些實驗室的生命力所在。”
谷歌所開發的這些技術,用戶并不能拿在手中或放在桌面上,它們并不在手機或PC機上運行,而是體現在一條全球范圍內的數據中心網絡當中。
這些技術包括影響力很高的軟件平臺,如谷歌文件系統(GFS)、MapReduce和BigTable等,這些技術能夠支持大量在線應用程序,并將相應處理工作化為非常微小的部分,然后再傳輸到數千臺機器當中,就好比螞蟻搬家,各有各的精確任務。此外,這些技術還包括了新一代服務器、網絡硬件以及用以運行這些技術的數據中心。谷歌的思路是:使所有計算設備能夠像單一機器那要運行。螞蟻搬家的每只螞蟻分工明確,谷歌數據中心也是這種原理。
在硅谷還未從社交網絡、觸摸屏的最新趨勢回過神來之時,谷歌卻在幕后對其技術進行了重新改造。而不久之后,在其他互聯網巨頭競相挖掘網絡數據之時,他們仍落在谷歌后面。在谷歌對其搜索引擎、GFS和MapReduce技術進行重新改造后,又催生了Hadoop平臺,該平臺已成為全球最為成功的開源項目之一。BigTable技術促進了NoSQL運動的發展,并導致大量網絡數據庫的誕生。不僅如此,谷歌對于數據中心硬件采取的新方式,也促使Facebook、亞馬遜、微軟及其他科技公司采取類似措施。
可以肯定的是,谷歌能夠取得今天的市場業績,與該公司大量默默無聞的計算機科學家多年傾力奉獻密不可分。這些科學家曾就職于PARC研究中心、貝爾實驗室及其他研究機構。與谷歌一樣,亞馬遜在網絡基礎服務領域也有著重要影響力,如亞馬遜發布了有關Dynamo文件系統的學術資料。只是與亞馬遜相比,谷歌的影響力更為廣泛。
谷歌與施樂PARC研究中心的重大區別是:谷歌在世人了解到相關技術之前,就已經從這些技術中獲取了大量利潤。諸如GFS、MapReduce等工具,使谷歌能夠領先于競爭對手。而現在,谷歌已經拋棄了這些工具,并開始使用新一批軟件和硬件。與以往一樣,其他科技公司又只有追趕谷歌的份。
谷歌雙雄
在肯頓·瓦爾達愚人節惡搞對象中,本來可有多個目標,但迪恩卻成為“最有搞頭”的靶子。瓦爾達回憶道:“他的一舉一動有如仙人。”
另一位惡搞對象就是迪恩的長期同事桑杰伊·格馬瓦特(Sanjay Ghemawa)。2004年期間,谷歌發表了有關MapReduce平臺技術的學術論文。該論文署上了兩個人的名字,即迪恩和格馬瓦特。在BigTable數據庫的設計過程中,這兩人也扮演了重要角色。格馬瓦特也是谷歌GFS文件系統學術論文的三名聯合作者之一。
在瓦爾達看來,迪恩和格馬瓦特兩人的工作很難分開來看,“他們兩人密切合作,而承擔了谷歌基礎架構開發工作的大量事務。在多數情況下,他們都是聯手工作,因此很難將兩人的工作截然分開。在谷歌內部,所有代碼改變在提交之前,都必須得到其他同事的評估。但就迪恩和格馬瓦特兩人而言,如果其中一人將規模較大的代碼給對方評估,對方將會立即給出‘LGTM’(“我覺得不錯”的英文首字母縮寫)的評語,原因是他們此前已經共同著手代碼改變工作。”
瓦爾達所說并不虛假。多年以來,迪恩和格馬瓦特已養成這樣的習慣:一起坐在同一臺電腦前編寫代碼。多數情況下,是由格馬瓦特負責輸入工作。迪恩說:“格馬瓦特對所輸入編程代碼的字距很挑剔。”
早在加盟谷歌之前,迪恩與格馬瓦特已經認識。在上個世紀90年代期間,他們兩人都在數字設備公司(DEC)負責運營的多家硅谷實驗室中工作。當時迪恩工作地點為DEC的Western Research Lab實驗室,而格馬瓦特工作地點與迪恩僅有兩街之隔,即另一個姊妹實驗室“系統研究中心”(Systems Research Center,src)。正是由于這種關系,兩人當時需要經常就一些項目展開合作,且兩人之間的合作關系非常穩固。在DEC工作期間,迪恩和格馬瓦特為Java編程語言編寫了新的匯編器以及用于跟蹤計算機服務器的系統測量儀。
在DEC研究人才大遷移過程中,迪恩和格馬瓦特也來到了谷歌。上個世紀90年代晚期,就在谷歌破土而出之時,DEC卻難以為繼。DEC主要生產體積很大、基于RISC架構的服務器產品,而業界卻迅速轉向使用低成本、基于英特爾x86芯片的小體積服務器。1998年,DEC被當時PC廠商康柏收購。而四年之后,康柏又與惠普合并。如此一來,DEC原有研發人員逐步流向他處。
迪恩說:“DEC被康柏收購后,DEC各技術實驗室的日子曾經一度很難過。當時并不清楚DEC與康柏合并后,DEC實驗室將扮演何種角色。”此時微軟開始在硅谷組建一家研發中心,于是部分DEC技術工程師流向微軟。還有部分人員流向虛擬服務器軟件開發商VMware。其他大量DEC技術人員則選擇了加盟谷歌。DEC被康柏收購的那一年(1998年),也正是谷歌創立的年份。
1998年前后,也正值大量曾最具影響力的科技實驗室風光不再,其中包括施樂PARC研究中心和貝爾實驗室等等。這些實驗室曾擔負過Unix操作系統、C編程語言等重要技術的開發工作。只是眼看著這些實驗室的頂峰期已過,在這些實驗室工作的大量技術人員開始另謀出路。
加州大學伯克利分校計算機科學教授埃里克·布魯爾(Eric Brewer)表示:“2001年美國網絡經濟泡沫破裂后,招聘人才最多的兩家公司分別為谷歌和VMware。由于當時高科技人才市場供求關系的嚴重不對等,這兩家公司乘機招聘了大量真正有實力的人才。”
與迪恩和格馬瓦特一樣,其他從DEC加盟谷歌的技術工程師同樣也作出了很大貢獻,其中包括邁克·布洛斯(Mike Burrows)、Shun-Tak Leung以及盧伊茲·安德烈·巴洛索(Luiz Andre Barroso)等。當時,這些技術人員希望找到一份自己感興趣的工作,而谷歌則希望招聘那些能夠運營自家搜索引擎的人才。如今回頭一看,當時DEC的人才大流動,確實為谷歌取得市場成功提供了基礎條件和潛在機會。
DEC也是首批成功開發出互聯網搜索引擎的科技公司之一。如AltaVista便出自DEC旗下的Western實驗室。至少在初期階段,這些搜索引擎僅僅在DEC單獨一臺機器上運行。而谷歌之所以能夠超過AltaVista,大部分原因是谷歌采取了新型手段:將其軟件打碎,并將不同任務分配給大量小型、低成本機器。這其實正是GFS、MapReduce、BigTable以及其他大量技術創意的出發點。
如今回顧起來,谷歌這種做法,其實也是網絡技術開發的自然演進過程。加州大學伯克利分校計算機科學教授、大規模計算專家阿馬多·福克斯(Armando Fox)表示:“諸如谷歌在組建分布于數千臺計算機上的數據系統過程中,自然會遇到架構方面的挑戰。而這些挑戰,與組建單一龐大系統所遇到的難題并不存在太大區別。由于遭遇難題的相似性,谷歌所招聘DEC人才就顯得至關重要。”
“學術長輩”
迪恩是加盟谷歌的首名DEC技術工程師。迪恩是追隨其“學術長輩”烏爾·霍爾澤(Urs Holzle)而來。
霍爾澤是谷歌早期10名員工之一,同時也是谷歌首名技術開發副總裁。他曾負責谷歌架構的創建工作,該架構目前已遍布谷歌位于全球范圍內的35個以上數據中心(該數字由外界推測得出)。在加盟谷歌之前,霍爾澤擔任加州大學圣巴巴拉分校教授。在此之前,他曾在斯坦福大學學習,導師為戴維·烏恩加爾(David Ungar),并開發了如今用于Java編輯語言編輯器中的一些核心技術。
而迪恩的學術導師是烏恩加爾同學,正是由于這層關系,霍爾澤成為迪恩的學術長輩。1999年期間,由于DEC難以為繼,迪恩跳槽到一家名為MySimon的科技創業公司。后來他看到霍爾澤已在谷歌工作,于是便給霍爾澤發了一封電子郵件,并表示希望到谷歌工作。不久迪恩便被曾招聘霍爾澤的人招至谷歌麾下,這個人便是谷歌聯合創始人拉里·佩奇(Larry Page)。
烏爾·霍爾澤
在加盟谷歌之初,迪恩被指定負責谷歌搜索引擎廣告系統的開發工作。但數月之后,他進入到谷歌核心搜索技術開發團隊。當時由于互聯網流量的迅速增長,谷歌搜索技術也需要加以相應調整。隨后格馬瓦特也加盟到迪恩的團隊。格馬瓦特之所以能夠加盟谷歌,主要是受原DEC同事迪恩、克里斯那·巴拉特(Krishna Bharat)及蒙尼卡·亨澤格(Monika Henzinger)等人的推薦,因為這些前同事已經加盟谷歌。
格馬瓦特說:“公允地講,如果當時不是迪恩已經在谷歌工作,我可能根本沒有機會被谷歌招聘。”迪恩與格馬瓦特在谷歌會合后,兩人很快又恢復了以前的工作合作關系。在隨后的三、四年中,雖然谷歌核心技術開發團隊的人員處于不斷變動之中,但迪恩與格馬瓦特兩人同這些人員密切合作,并設計、組建和修訂了谷歌的網絡數據抓取技術。正是借助這些后臺技術,谷歌才能向全球網民返回他們希望查找的搜索結果。
迪恩表示,自己與格馬瓦特的合作關系很有效,原因就是兩人能夠實現性格互補:格馬瓦特行事作風更為冷靜。迪恩說:“我這個人容易急燥,腦子會飛快地想出所有方案,腦子和手都忙個不停。而格馬瓦特雖然也會激動,但會更冷靜一些。他能糾正我的偏差,然后兩人向正確的方向發展。”
格馬瓦特卻表示,迪恩的工作方式同樣也非常重要,他能促進技術開發工作向前推進。格馬瓦特說:“我經常中途停了下來,并思考多種可行方案,同時擔憂現有方案的不成熟性。而此時就需要有人出來加以鼓勵,并使我們向著目標進發。”
在創建GFS文件系統和MapReduce技術后,迪恩和格馬瓦特的工作取得了重大突破。過去十年中,這些平臺和技術已被用于谷歌的數據中心當中,并能夠向谷歌搜索業務提供規模更為龐大的數據索引。當谷歌抓取全球各地的網頁時,就能通過使用GFS技術的數千臺服務器傳送這些數據。而通過MapReduce技術,這些服務器又能將這些數據轉化成數量單一、可進行搜索的索引。
而這些技術的迷人之處,就在于某臺機器無法正常工作或網絡變慢時,這些平臺并不會停止工作。如果你每天像谷歌那樣負責數萬臺服務器的運行,就會發現機器“罷工”現象可謂家常便飯。而利用GFS和MapReduce技術,谷歌就能夠在多臺機器上復制數據。如果其中一臺機器工作不正常,另一臺機器就能馬上頂替進來。
迪恩說在談及MapReduce技術時這樣說道:“由于數據索引的工作量非常龐大,導致應對機器故障或數據延遲的工作異常復雜。因此我們開始尋求一種在一系列機器中可自動平行代替的解決方案。該方案既可提高任務處理的質量和規模,也能使長期工作的多臺計算機穩定運行。”迪恩還表示,谷歌將這些工具應用到搜索引擎業務當中之后,還發現這些工具也能給其他網絡服務提供有益幫助。
BigTable技術也發揮出重要功能。與MapReduce一樣,BigTable是在GFS文件系統層面之上運行,但卻并不負責數據處理工作,而是像一個大型數據庫那樣運行。迪恩說:“BigTable能夠管理大量數據,并將這些數據傳送到其他機器當中,這些機器的數量可以是無限多。”雖然BigTable不會像傳統數據中心那樣對所傳輸數據加以精確控制,但卻能處理海量數據,而傳統意義上的大型機卻無法勝任這一任務。
諸如此類的故事還一再上演。隨著谷歌業務規模的不斷擴大,該公司需要處理的數據也越來越多。這就迫使谷歌需要開發出新型軟件。
美國云計算服務提供商Joyent首席技術官(CTO)詹森·霍夫曼(Jason Hoffman)表示:“如果你希望復制整個互聯網并為其建立起數據索引,且復制規模與真實互聯網的規模相一致,那么你該怎么辦?其中難度可想而知。制錘還需打鐵人,壓力也能轉化成動力。如果你能面對失敗,就能獲得技術靈感。”
盧伊茲·巴洛索
數據中心帝國
繼迪恩和格馬瓦特之后,巴洛索也來到谷歌。但巴洛索差點未能成行。
巴洛索曾與迪恩在DEC的Western實驗室共事。2011年期間,巴洛索同時獲得了谷歌和VMware的加盟請求。巴洛索曾到谷歌和VMware兩家公司面試和參觀。為作出選擇,巴洛索在一張電子數據表上分別列出加盟谷歌或VMware的理由。只是結果同樣讓他很為難:加盟谷歌的理由有122條,而加盟VMware的理由也是122條。
于是巴洛索便同迪恩討論此事。迪恩則問道,在巴洛索電子數據表所列出的加盟理由中,是否寫上了他參觀谷歌那天,還獲得了執行主管查理·艾耶斯(Charlie Ayers)提供的法式焦糖布丁(Creme brulee)?迪恩回憶道:“巴洛索最喜歡吃這種焦糖布丁,我跟巴洛索提起這件事時,他一拍腦門說,自己還真給忘了。”于是巴洛索第二天早上就接受了谷歌的加盟請求。
而巴洛索之所以不同尋常,原因就是從嚴格意義上講,他并不是一名軟件工程師。在DEC工作期間,他曾協助多核處理器的技術開發。巴洛索加盟谷歌軟件開發團隊不久,霍爾澤給他安排了一項新工作:對谷歌硬件架構進行調整,此事不但涉及服務器和其他設備,而且也包括數據中心的硬件設備。巴洛索說:“當時在谷歌的技術開發人員中,也就算我同硬件打過一點交道。”
霍爾澤、巴洛索和谷歌的“平臺團隊”開始思考如何改變公司的服務器架構。2003年期間,為壓縮成本,谷歌不再從戴爾和惠普等公司處購買常規服務器,而改為自行設計服務器,然后向交由亞洲硬件廠商代工,而這些廠商同時也是戴爾和惠普服務器的代工商。總而言之,谷歌繞開了戴爾和惠普這兩個產品銷售中間人。
與其他服務器不同,谷歌自行設計服務器當中包括了12伏電池,以防數據中心服務器失去外部主要電源時,這些電池還能與其他電源連接。谷歌稱,這種處理方式,比常規數據中心的不間斷電源設備(UPS)更有效率。
隨后谷歌技術開發團隊便考慮如何放置這些服務器。曾經有那么一段時間,谷歌僅僅是從其他公司處租賃數據中心所需空間。但巴洛索及其團隊卻開始從無到有設計和組建谷歌自家數據中心,并希望通過此種方式,不但能夠節省資金和電力,而且還能提高谷歌其他網絡服務的整體性能。
于是谷歌開始在美國俄勒岡州達爾斯等農村地區部署新設備,部分原因是這些地區的電力收費標準較低,且有的地區還提供稅收優惠。但谷歌這樣做的主要目的,還是希望使所有數據中心能夠像一臺單一大型機那樣運行。巴洛索和霍爾澤將這種方式稱為“倉庫規模的計算”。
洛索和霍爾澤在2009年發表的《作為計算機的數據中心》一書中寫道:“在這些設施中,大部分的硬件和軟件資源必須共同協作,從而提供高標準的互聯網服務,而只有整體性的設計和部署方案才能實現此目的。換句話說,我們必須將數據中心本身視為一種大規模的倉庫式計算。”
谷歌技術團隊對數據中心采取了新的組建方案,他們將服務器、網絡設備及其他硬件打包到一起,然后放入火車或輪船經常使用的集裝箱當中。通過這些“模塊”,就能實現數據中心的規模化組建。這樣做的目的是使每個模塊發揮出最大功能。事實上,集裝箱模塊思路來自佩奇。2003年期間,他曾看到Internet Achieve公司在一份演示稿給出了類似方案并因此獲得靈感。但巴洛索已記不清該創意究竟是來自何人,“反正該創意不是由我提出。”
谷歌達爾斯數據中心于2005年正式上線服役。隨后數年中,經常有媒體報道谷歌擁有數據中心模塊及定制化服務器,但其中詳情一直到2009年才被揭曉。2009年,谷歌在硅谷總部舉行了一次小型會議,并披露了其數據中心的解決方案。在數據中心組建事宜上,谷歌并不僅僅滿足于技術創新,而是首先默默工作,等到其性能穩定后再與外界分享相應方案。
泰斯拉效應
《連線》記者史蒂芬·列維(Steven Levy)在其《谷歌:In The Plex》一書中披露,佩奇本人是發明家尼古拉·泰斯拉(Nikola Tesla)的“粉絲”。佩奇認為,泰斯拉作為發明家的歷史地位可與愛迪生并列,但缺點是無法將自己的發明轉化為盈利,且不能保持自己技術發明能夠長期被外界認可。
有關泰斯拉給人以警示意義的傳奇故事,無疑也在一定程度上影響了谷歌對待其核心技術的態度。谷歌將這些技術視為商業機密。與蘋果一樣,谷歌非常重視核心技術的保密工作。然而在不少情況下,一些技術在谷歌內部使用數年后,谷歌又會開放相關技術。霍爾澤說:“我們希望能夠在不失去自身競爭力前提下,盡可能向外部開放一些技術。我們會與外界就某些創意進行交流,但不會提供具體實施方案。”
2003年到2004年期間,谷歌發表了有關GFS文件系統和MapReduce技術的論文。谷歌讓這些論文自己來說話。不久以后,一位名為道格·卡廷(Doug Cutting)的開發者利用這些論文資料,而組建了一種名為“Nutch”的索引系統,該系統可用于開源搜索引擎。卡廷后來加盟谷歌主要競爭對手雅虎后,該項目又被修改成為“Hadoop”。
隨著互聯網服務器處理數據規模的增長,Hadoop技術此前已被大量網絡服務巨頭所使用,其中包括Facebook、Twitter和微軟等,目前又在向其他商業用戶拓展。美國市場研究公司IDC此前發布預測報告稱,到2016年時,Hadoop項目所引發的軟件市場規模將高達8.13億美元。
而BigTable技術又在重復這一舉動。2006年期間,谷歌發表了有關其數據庫技術的論文,而亞馬遜也公布了Dynamo數據存儲技術的相關資料。這些舉措引發了NoSQL運動,目的是借此組建規模達數千臺機器的數據庫。
Joyent的霍夫曼表示:“如果你仔細研究一下每一種NoSQL解決方案,其實任何一種都將回溯到亞馬遜Dynamo或谷歌BigTable論文資料。如果谷歌或亞馬遜不公布這些學術論文,情況將會怎樣?”
谷歌的硬件運營情況則稍有不同。對于谷歌數據中心所使用的硬件設備詳細情況,我們還知之甚少。但谷歌的這些硬件舉措,無疑已經被其他科技及其他產業所效仿。在亞洲硬件代工商的幫助下,Facebook也在設計自家服務器、服務器架臺和存儲器等硬件設備。知情人士透露,亞馬遜和微軟也在這樣做。而隨著Facebook以開源計算基金會的名義對其設計采取“開源”措施,其他公司也紛紛加入到自行設計硬件的行列。
更為重要的是,模塊數據中心已成為網絡服務的主流,如微軟、eBay及其他數不清的科技公司都在使用此類模塊。微軟數據中心業務前主管邁克·曼諾斯(Mike Manos)曾表示,數據中心模塊的創意并非來自谷歌,類似模塊創意在上個世紀60年代就已經提出。但無論如何,谷歌是將該模塊付諸實踐的首家公司。就像Cloudant的米勒指出的那樣,谷歌GFS文件系統和MapReduce技術也是從以往技術中獲得靈感,但谷歌卻能利用以往創意來解決新問題。
曾為DEC系統研究中心實驗室的辦公樓,目前已歸亞馬遜所有
方興未艾
頗具諷刺意義的是,谷歌此前已采取相應措施來取代上述基礎技術。過去數年中,谷歌放棄了GFS文件系統,而代之以名為“Colossus”的新平臺。在搜索引擎算法事宜上,谷歌已使用了名為“Caffeine”的新系統。該系統包含了MapReduce的一些技術成份,但運營方式有很大不同,并能實現實時索引,而不是從抓取數據中重新建立索引。
谷歌達爾斯數據中心或許將繼續使用,但估計該中心不會安裝谷歌的最新硬件設備。對于谷歌數據中心所使用的最新硬件,我們了解還不多。但考慮到谷歌一直致力于硬件設計創新的歷史,我們有理由相信,谷歌在其他數據中心仍在測試最新款硬件。
近年以來,谷歌發表了有關Caffeine及其他兩個軟件平臺的學術論文。這兩個平臺分別為Pregel和Dremel,前者涉及“圖譜”數據庫技術,即能分析兩種數據之間的關系;而Dremel則能分析和處理數據。此前已有大量基于Pregel技術的開源項目誕生,至少已出現一個源于Dremel技術的項目。Cloudant的米勒表示,Caffein論文資料公布后,已開始對Hadoop和NoSQL市場帶來影響。
前述各種技術,只是谷歌曾投入使用技術的小部分。可以肯定的是,谷歌尚有大量技術并未被外界所了解。但無論谷歌正在使用何種新技術,該公司肯定不久后又會加以更新。去年5月,加州大學伯克利分校教授布魯爾宣布,他將加盟正在開發“下一代架構”的谷歌技術團隊。布魯爾當時說道:“云計算產業尚處于初期發展階段,因此還有很大改進提高的空間。”
分布式計算專家布魯爾加盟谷歌,也從一個側面證實,谷歌就是施樂PARC研究中心的當代繼承者。只是谷歌在PARC理念基礎上邁出了更遠步伐。
從谷歌的研發運營管理模式中,你總能夠看到DEC的痕跡,而DEC又要回溯到PARC研究中心的早期階段。DEC的系統研究中心(src)實驗室由羅伯特·泰勒(Robert Taylor)創建,正是他曾在PARC創建了計算機科學實驗室。
泰勒之所以要創建src實驗室,原因是在80年代初,泰勒認為PARC已迷失了方向。泰勒說:“我在PARC的大量同事已對該研究中心不再抱任何希望,因此他們就到了我這兒。”他以PARC計算機科學研究室為原型,而創建了src實驗室。從某種程度上講,泰勒這一舉措也取得了成功。
但與大量其他企業所運營的研究機構一樣,src實驗室也有其弱點。該實驗室的最新技術研發成果,需要很長時間才能轉化為投放市場的產品。這種情況也適用于DEC旗下的Western實驗室。正是這種原因,最終迫使曾在Western實驗室工作的迪恩加盟谷歌。迪恩說:“技術與真實用戶的分離,也是我最終考慮加盟一家科技創業公司的原因。”
只是谷歌并不是尋常意義上的科技創業公司。谷歌所制定的管理措施,能夠使該公司在完成技術開發后迅速投入使用。谷歌既可說是研究型機構,也可以說并非如此。格馬瓦特說:“谷歌架構工作并不是當成研究項目,這些工作讓我們能夠解決產品中遇到的問題。”
對某些谷歌員工而言,谷歌核心架構技術開發工作的缺點是:你不得告訴任何人你正從事的工作。這也是谷歌工程師阿米爾·邁克爾(Amir Michael)選擇從谷歌離職并加盟Facebook的原因之一。盡管如此,谷歌有時也允許這些員工發表自己的研究成果甚至公開討論相關問題。
對谷歌而言,這無疑是一種平衡手段。雖然仍有不少人對這種方式頗有微辭,但不能不說該手段很有效。不可否認的是,谷歌的這些方式已推動了整個互聯網產業向前發展,而施樂PARC研究中心從未有過這樣的佳績。