編者按：微軟正在做巨硬的東西，這聽起來似乎不可思議。但這就是事實，而且正是因為軟件不斷增長的需求難以得到滿足才讓微軟萌生了這個想法。這個想法曾經被認為是白日夢，但現在Project Catapult做出來的FPGA芯片已經部署到微軟的Bing、Azure以及Office 365等服務上。未來幾年微軟的幾百萬臺服務器都將部署這種專門加速計算的芯片。除了微軟，Google、Amazon等互聯網巨頭也在探索著為AI等應用加速的新硬件，鑒于這些新硬件的部署規模，也許互聯網巨頭的未來將取決于他們采用哪一種硬件路線。FPGA的中間路線能否勝出呢，《連線》雜志對此進行了分析。

Project Catapult的硬件原型，為了迎接下一波AI浪潮，他們花了6年的時間重建微軟的在線服務。

2012年12月，Doug Burger正站在鮑爾默面前，試圖預測未來。

鮑爾默，微軟的這位塊頭大、脾氣大、頭頂瓦數也大的CEO，正坐在99號大樓一樓的演講室內。那棟樓是微軟研發實驗室總部的所在地，正好位于西雅圖市郊。桌子繞著房子靠外一側圍成了U型，鮑爾默被他的高級幕僚包圍著，他的筆記本打開著。4年前加入微軟的計算機芯片研究人員Burger正在向高管們介紹一個新主意。他稱之為Project Catapult。

Burger解釋說，技術世界正在進入新的軌道。未來若干互聯網巨頭運營的少數互聯網服務會變得無比復雜，跟之前的服務如此不同，以至于這些公司必須開發全新的架構才能運行。為此他們不但要開發軟件來驅動這些服務，還需要開發硬件來支持，這些硬件包括服務器和網絡引擎。Project Catapult會把專門的芯片部署到微軟所有的服務器(幾百萬臺)上面，這些芯片可以進行程序改編，用于執行特定任務。

不過Burger還來不及講到芯片部分時，鮑爾默就開始查他的筆記本了。鮑爾默在造訪微軟研究院時說，他希望看到研發有所更新，而不是戰略簡報。Burger說：“他就這么開始拷問我。”微軟已經花了40年的時間來開發Windows、Word、Excel這類的PC軟件。現在剛剛在互聯網站穩腳跟。而且肯定沒有開發可編程計算機芯片所需的工具和工程師——這項任務既困難又耗時耗錢，而且有點怪異。微軟做計算機芯片就像可口可樂做魚翅湯一樣。

Project Catapult目前的化身。

Burger身形消瘦、稍微有點禿頂，跟許多工程師一樣，他頭腦冷靜且善于分析，對于鮑爾默的態度他可不干了。他告訴鮑爾默說像Google和Amazon這樣的公司已經在朝著這個方向發展。他說現在的硬件制造商不能提供微軟運行其在線服務所需的東西。他還說，如果微軟不自己開發硬件的話就會落后于人。鮑爾默并不買賬。不過片刻之后，另一個聲音加入了這場剛討論。此人是Qi Lu(陸奇)，微軟搜索引擎Bing的負責人。這2年陸的團隊一直在跟Burger討論可再編程計算機芯片的事情。陸說，Project Catapult不僅僅是可行，而且他的團隊已經在啟動了。

現在，Burger和陸奇均相信可改變世界的可編程芯片——所謂的現場可編程門陣列(FPGA)已經在這里了。FPGA已經成為Bing的基礎，未來幾周，它們將為新的、基于神經網絡(按照人腦結構建模的人工智能)的搜索算法提供驅動——其執行這種AI的速度將比普通芯片快好幾個數量級。相當于以前用4秒鐘完成的事情現在只用23毫秒。微軟的云計算服務Azure用的也是FPGA。未來幾年，幾乎所有的微軟服務器都將內置一個FPGA。這個數量將達到幾百萬。Burger說：“這將賦予我們龐大的能力和無比的靈活性，而且還有經濟性。現在這已經成為微軟的標準，是遍布全球的架構。”

Catapult團隊成員，左起分別是Adrian Caulfield、Eric Chung、Doug Burger以及 Andrew Putnam

這不僅僅是Bing在步Google后塵。Project Catapult標志著全球系統在未來運營方式的改變。從美國的Amazon到中國的百度，所有的互聯網巨頭都在用替代性的硅片來增補自己的標準服務器芯片——CPU，以便跟上AI快速變化的節奏。微軟現在每年大概要投入50到60億美元到運行其在線帝國所需的硬件上。所以2014年接任CEO的Satya Nadella說，這類工作“不再僅僅是研究，而是必要的優先事項。” 在99號大樓Burger試圖解釋的就是這個。這還推動著他和他的團隊克服了數年的挫折，在熬過了重新設計以及制度上的阻撓之后，終于實現了一種新型的全球超級計算機。

既全新又古老的計算機芯片

2010年12月，微軟研究員Andrew Putnam已經離開西雅圖，開始返回自己的家——科羅拉多科泉市度假。再過2天就是圣誕節了，他還沒有開始購物。當他開車去到購物商場時，電話響了。來電的是Burger，他的老板。Burger準備節后跟Bing的高管會面，他需要一套硬件的設計，這種硬件以FPGA為基礎，可以運行Bing的機器學習算法。

Putnam跑到最近的一家星巴克，開始起草計劃。這總共用去了他5個小時的時間，而且他還有時間去購物。

47歲的Burger和39歲的Putnam以前都是學者。Burger在奧斯汀的德州大學當了9年教授，他的專長是微處理器，曾經設計過一種名為EDGE的新型芯片。Putnam在華盛頓大學做過5年的研究人員，反復折騰著FPGA，這種可編程芯片誕生已經有幾十年，但基本上是用來做其他處理器的原型。2009年Burger把Putnam帶進了微軟，兩人開始共同探索用這些芯片來加速在線服務的想法。

Project Catapult的V1版，當時Doug Burger和他的團隊在微軟西雅圖園區的數據中心進行了測試。

但這個想法即便是他們的老板都不買賬。監管Burger部門的微軟研究院副總裁Peter Lee說：“每隔2年就有‘FPGA終于要來了’的說法，所以跟任何有理性的人一樣，每當有人推銷這個的時候我就會翻白眼。”但Burger和他的團隊相信，這個老想法成真的時候真的到了，而Bing正好是完美的測試案例。

微軟的搜索引擎是一項獨立的在線服務，運行在成千上萬臺服務器上。每一臺機器都由一個CPU驅動，盡管像英特爾這樣的公司還在繼續改進，但這些芯片已經跟不上軟件的發展節奏，后者很大程度上是因為人工智能新浪潮的涌現。像Bing這樣的服務已經超越了摩爾定律，也就是晶體管數量每隔18個月就會翻一番的經典概念。事實上，結果證明僅僅靠堆積CPU已經不能解決這個問題。

不過另一方面，針對每一個新問題都要專門開發特定用途的芯片又太貴了。而FPGA正好填補了這一鴻溝。它們讓工程師開發出比流水裝配出來的通用CPU速度更快能耗更低的芯片，但是又可以通過定制化來處理不斷變化的技術和商業模式這些新問題。

在那次節后的會議上，Burger向Bing的高管推介了FPGA加速搜索的低功耗方式。這些高管對此不置可否。于是在接下來的幾個月內，Burger和他的團隊根據Putnam圣誕節草擬的計劃開發出了一個原型，并且證明用它跑Bing機器學習算法大概可以快100倍。現為瑞士洛桑聯邦理工學院某系主任的Jim Larus當時是團隊的另一名成員，他回憶道：“這時候他們開始真正感興趣了。他們還開始讓我們度過了一段真正難熬的日子。”

這個原型是一個專用的盒子，里面有6塊FPGA，為整整一架服務器共享。如果盒子出問題，或者如果機器需要6個以上FPGA(考慮到機器學習模型的復雜性這種可能性越來越高)時，所有的機器就都運氣用光了。對此Bing的工程師非常痛恨。Larus 說：“他們的恨是有道理的。”

于是Burger的團隊又開始用幾個月的時間折騰第二款原型。這次是一塊電路板，每一臺服務器都只插一塊板，而且每塊板只有一個FPGA。但是這塊板跟其他服務器上的FPGA電路板都有連接從而創造了一個龐大的可編程芯片池，讓任何Bing機器都可以使用。

正是這款原型把陸奇吸引了進來。他為Burger提供資金，給超過1600臺服務器都裝上了FPGA并進行了測試。該團隊花費了6個月的時間，在中國大陸和臺灣的幫助下做出了硬件，然后把第一個機架安裝到微軟園區的實驗性數據中心里面。之后，一天晚上，中心的滅火系統突然爆炸了。他們花了3天時間才把機架恢復原形——令人驚喜的是居然還能工作。

2013和2014的那幾個月里，測試表明，在使用這種新型芯片之后，Bing的“決策樹”機器學習算法的運行速度快了400倍。到了2014年夏，微軟開始公開說自己很快就會把這種硬件部署到生產用Bing數據中心上。不過然后公司又開始踩剎車。

尋找Bing以外的應用

在那10年的前半段時間里，Bing統治著微軟對互聯網的雄心，但到2015年，該公司已經有了兩個龐大的在線服務：商業生產力套件Office 365，以及云計算服務微軟Azure。跟所有競爭對手一樣，微軟高管意識到，運營日益發展的在線帝國的唯一有效方式，是所有服務都要基于共同的基礎來運行。如果Project Catapult即將變革微軟的話，這個項目不應該只有Bing獨享。也應該在Azure和Office 365里面跑。

問題是，Azure高管對加速機器學習并不關心。他們的需求是改善網絡。進出Azure數據中心的流量太過龐大，以至于該服務的CPU已經跟不上節奏。最終，像Azure首席架構師Mark Russinovich這樣的人也發現了Catapult的用途——但不是像Bing那樣用。他的團隊在每臺服務器接入核心網絡的地方需要可編程芯片，以便在所有流量到達服務器前就可以處理掉。

第一版的FPGA架構原型是單機箱，由機架服務器共享(版本0)。然后團隊切換到讓每一臺服務器都有自己的FPGA(版本1)。再之后他們把芯片置于服務器和整個網絡之間(版本2)

所以FPGA幫被迫再次重新開發硬件。他們的第三個原型部署在每臺服務器邊緣，然后直接接入網絡，同時仍然搭建了一個FPGA池讓任何機器都可以訪問。這開始有點Office 365也可以用的樣子了。Project Catapult 終于準備好上線了。

Larus把眾多次重新設計說成是噩夢的延續——這不僅是因為他們每次必須開發新硬件，而且還得對FPGA進行重新編程。他說：“這太恐怖了，對編程軟件要糟糕許多。寫起來要難很多，把東西搞對也要難得多。”這是非常繁瑣的工作，比如試圖變更芯片上微小的邏輯門就是這樣。

現在最終的硬件已經就位，微軟每次對這些芯片進行重新編程時都會面臨著同樣的挑戰。他說：“這是審視和思考這個世界的一種非常不同的方式。但Catapult硬件的成本不到服務器所有其他成本的30%，所占功耗不到10%，而數據的處理速度卻是它之前的2倍。”

然后就是大規模的鋪開。微軟Azure利用這些可編程芯片來引導數據。在Bing(全球桌面機器搜索市場份額約占20%，移動份額占6%)上，這些芯片被用于AI的新種類：深度神經網絡。據微軟的一位員工說，除了用于機器學習外，Office 365還在利用FPGA替其2310萬用戶進行加密和壓縮。最終，Burger說，這些芯片會應用到微軟所有的服務上。

等等——這真的有用嗎?

Peter Lee說：“我還是被我們讓公司做這個震到了。”Lee監管的是微軟研究院的一個叫做NExT(新體驗與新技術部門)的組織。在接任CEO之后，Nadella個人促成了這個新組織的成立，這顯示出鮑爾默10年統治后的重大轉變。其目的是培育能盡早看見曙光的研究——那種現在就能改變微軟路線而不是幾年后才收效的研究。Project Catapult就是一個突出的例子。而這是整個產業更大轉變的一部分。Burger說：“這個飛躍來自非CPU技術。”

包括微軟在內，所有的互聯網巨頭現在都以GPU(圖像處理單元)來作為自己CPU的補充，GPU這種芯片的目的是為游戲等高度可視化應用渲染圖像用的。比方說，當這些公司訓練自己的神經網絡識別照片中的人臉時——所謂訓練就是給神經網絡看好幾億張照片——其中大部分的計算就是由GPU來完成的。在訓練完成后，像微軟這樣的巨頭還利用硅替代，運行神經網絡。即便定制化芯片貴得離譜，Google也已經在設計自己的處理器來執行神經網絡，也就是Tensor處理單元(tensor processing unit，TPU)。

Google的TPU為了速度而犧牲掉長期的靈活性。它希望能，比方說消除識別智能手機語音命令時遭遇的任何延遲。問題是如果神經網絡模型改變的話，Google就必須開發一種新的芯片出來。而使用FPGA的話，微軟就能跑得更遠。雖然FPGA速度并沒有Google的定制化芯片那么快，但微軟卻可以在需要變化時對硅片進行重新編程。該公司不僅可以針對新的AI模型進行重新編程，而且任何任務都可勝任。如果其中一個設計似乎在未來幾年都有用的話，微軟什么時候都可以用專門芯片把FPGA替換掉。

最終硬件的一個較新版本，V2，這塊卡會插入到每臺微軟服務器上，然后直接連接網絡。

微軟的服務規模太龐大了，所以使用的FPGA也太多了，以至于他們正在改變全球的芯片市場。FPGA出自Altera這家公司，英特爾執行副總裁Diane Bryant告訴我說，微軟正是英特爾去年夏天把Altera給收購了的原因所在——這個案子的價值是167億美元，是這家全球最大芯片制造商有史以來最大的一筆收購。她說，到2020年，所有主要云計算公司1/3的服務器都將內置FPGA。

CPU、GPU、TPU、FPGA，這些技術縮略語讓人糾結。但重要的是潛臺詞。微軟、Google、Amazon這些云計算的大公司對全球技術起著巨大的推動作用，所以這些芯片備選方案也會驅動著范圍更廣的app與在線服務世界。Lee說Project Catapult會讓微軟繼續擴張自己的全球化超級計算機能力直到2030年。在此之后，他說，該公司就將遷移到量子計算。

后來當我跟Nadella通過電話交流時，他告訴我的大抵也差不多是這樣。他們念的是微軟的同一套腳本，都在兜售量子使能的超速計算機未來。考慮到開發量子機器的難度之高，這聽起來似乎就像是一個白日夢。但幾年前Project Catapult的情況也正是這樣。