隨著互聯網向縱深發展，各種互聯網應用不斷涌現。在我們享受各種應用便利的同時，各大互聯網企業卻為蜂擁而至的訪問壓力而造成的成本快速增長而憂心忡忡，在找到穩定盈利模式并被市場認可前如何生存一直是個嚴峻問題。
因此，在互聯網企業內，每當一個新互聯網業務沖到了新的高峰時，除了看到產品部門歡欣鼓舞外，還能看到另外一群人拿著計算器，看著一堆excel表格，試圖從中挖掘出一些省錢方法，以使企業活到IPO。對于只有“用最低廉的成本給用戶提供最好的服務才能生存”的互聯網企業而言，削減服務器采購成本成為必須攻克的任務。在筆者公司，該任務則被精確命名為“降低服務器3年總使用成本”。
從百度、阿里、騰訊(三家企業通常簡稱BAT)的“天蝎項目”及整機柜交付特性來看，定制化項目首要目標無疑是降低成本。但在BAT干過的人會告訴你一個月上線幾千臺服務器是多么的令人苦惱，由此帶來的壓力簡直讓人崩潰，所以快速部署已經成為各大互聯網公司除了降低成本外的第二目標，有時因為上線緩慢帶來的機會損失遠遠大于服務器本身的價值。
說到成本，很多讀者其實并不清楚互聯網公司在服務器上到底花了多少錢。圖1是一個常規互聯網項目三年設備使用成本分布(不包含帶寬費用和運維費用)。
圖 1 某常規互聯網項目三年設備使用成本統計
從圖1可以看出服務器采購成本約占一半的成本，機架費用約占三分之一。其中，機架費用基本上可以等同于服務器電力消耗。
以上的比例確立了定制化項目的工作方向，即通過定制化項目去節省機架成本和設備采購成本。在筆者公司，“降低服務器3年總使用成本”項目的成功實施令我們節約了12.5%的機架成本(相比國際品牌標準服務器)和5%的設備采購成本。就產品本身而言，我們最終定制的服務器產品具有以下六大優勢：
1、 框架設計，跨代使用
由于采用的是刀片式結構，每次英特爾處理器換代時只用更換主板等組件就可以繼續服役。
產品設計可以更換英特爾 3代產品，框架可以服役6-8年。
2、 超短距散熱，超大散熱片
風道深度只有550mm，遠低于一般產品700mm的深度，散熱效果更好。
CPU散熱片采用1.5U高度，比傳統的1U產品散熱片效率更高。
3、 RackFree自由并柜、高密部署
機箱可以放入標準機柜，也支持3-4個機箱直接堆疊鎖緊(同時支持左右并柜)，在相同機房面積下比整機柜方案部署節點密度高20%，在傳統的20列*10行的機房面積可以部署19200個節點。
4、 1.5U刀片高度，滿足未來擴展需求
刀片高度考慮未來擴展，可以支持更大的存儲容量和更高TDP的CPU產品。
5、 無背板設計，支持水冷
由于沒有設計了背板，刀片后部就是風扇墻模塊。在未來可以去掉風扇墻模塊直接更換為油冷/水冷模塊，方便快捷。
6、 微模塊設計，適合BAT以外的中小企業
每個模塊只有12U高，重量不超過100kg。與1000kg的整機柜方案相比，運輸和上架更為方便，同時也免去了機房改造的麻煩。當企業發展以后，這些產品還可以部署到定制機房，直接并機(無需機柜)，部署密度也更高。
定制化流程
整個服務器定制化項目的工作流程如圖2所示，共包括確定產品定位、分解研發方向、書面推演等八大步驟。
圖2 產品定制流程
確認產品定位
在具體實施之前，我們需要首先考慮整個供應鏈如何配合。當時我們有兩個選擇：
一是進行主板PCB級別定制，走深度定制之路;另一個是基于現有主板產品的重新整合，進行淺定制。
我們對這兩種方式的利弊進行了分析,見表1。
表1 兩種定制模式利弊對比
大型互聯網公司facebook,google,amazon都選擇了主板PCB級別定制。此模式研發成本較高，如果沒有萬臺以上的采購規模攤薄了研發成本，TCO很有可能不如從OEM/ODM直接買標準機架服務器。
而我們的項目在計劃之初就有以下明確的定位：
CFD模擬
在和廠商確認方案時，強烈建議使用Fluent、Pro/E和6SigmaDC 軟件，通過建模和設定環境條件，對機箱的散熱設計、裝配流程，結構強度、IDC整體配合進行充分地模擬，以免事后修修補補，造成研發投入的浪費甚至項目失敗。
通過把我們的設計理念、運維需求及各部件特性進行綜合，最終定稿的產品規格。
外觀：
定制化產品的外觀和頂部控制板見圖5和圖6。
圖5 定制化服務器外觀
生命周期：機箱6-8年，刀片3-4年，電源和風扇4-5年
配置：
一個12U 6托盤(豎插)的產品， 12U/12Node(安裝半寬主板)或者 12U/6Node。
每個托盤可以安裝1個雙路E5主板或者2個雙路E5主板(半寬)
頂部的1U內部安裝所有控制板和1-4塊650w-1200w電源(6托盤共享)
背部安裝9顆12cm風扇，每2個主板共享縱向的3顆風扇(2+1配置)。
電力供應：不使用中板/背板，使用航空插頭連接頂部1U和下面6個Node進行供電。
散熱控制：航空插頭中有部分針腳用于傳輸主板FAN口的PWM方波到頂部1U中的控制板。
控制板匯總多路PWM信號后進行對背部9顆風扇的轉速調控。
如果控制板失效，9顆風扇自動轉入全速運轉。
信息收集：控制板上定期收集溫度/濕度/轉速/電源功耗等數據，然后通過API進行回傳。
圖6 定制化服務器頂部控制板
樣機生產
有了CFD模擬的結果，才使我們和服務器廠商對這個產品的未來有了明確認識，之后才進入到打樣階段。我們共生產了3臺樣機，每臺配6個雙路E5節點。1臺由我們驗證，1臺由廠商進行驗證，1臺用于對外宣傳/測試，尋找下一個采購者。
樣機驗證
由于使用的主要部件CPU/內存/硬盤/主板/電源/風扇都是成熟產品，只有12V轉ATX電源板和風扇控制板是全新設計的，所以驗證工作主要放在以下三個方面：
1、 各部件協同穩定性上;
2、 電源時序、12V大電流安全性;
3、 功耗降低幅度和設計方案的吻合度;
所有測試的環境溫度起點就大于40攝氏度。我們將一個20U機柜改裝為恒溫箱，可以對服務器進風口持續輸入30~43攝氏度的空氣，溫度穩定性為正負0.3度，如圖7所示。
圖7 對定制化服務器進行高溫測試
由于一開始就引入高溫環境，品質較差的組件在測試之初就露出原形，讓我們節約了大量時間。
經過兩個月的測試，我們還發現了一些問題，例如電源時序設計有bug,會因為+5V VSB電流不足而造成刀片啟動異常，還有硬盤震動異常，如下圖：
以上問題經過廠商的攻關，都已經解決，也讓我們這些初出茅廬的服務器設計者增長了不少知識。
小規模生產
通過數月的樣機驗證，我們已經進入到小規模生產階段。在公司的日常采購計劃中逐步增加定制服務器的采購份額。已經可以供貨的刀片配置為：
1、 php/python/Tomcat 服務器 2*E5-26xx v2 + 1~2塊2.5英寸SAS
2、 CDN服務器 1*E5-26xx v2 +8塊2.5英寸SSD
3、 Memcache/Redis 服務器 2*E5-26xx v2 + 4*2.5英寸 SAS
結語
通過將近兩年的設計、溝通、驗證，我們終于完成了定制服務器的第一版，其間的種種感悟匯成幾點建議：
1、 量化定制服務器可以帶來有形價值和無形價值，讓參與的人和決策的人認識到它的價值;
2、 產品要接地氣，一定要根據企業的需求、業務環境和采購能力設計產品;
3、 服務器設計是個綜合學科，外聘顧問比閉門造車綜合成本更低;
4、 公司內部對新產品的信任度需要花時間去經營，信任不是一天就能養成的。
1、 設計一款框架產品，在滿足本公司需求(可以服務Intel 3代產品)的前提下，可以讓OEM/ODM以低廉的價格進行改裝，以適合其他任何一家互聯網公司。
2、 堅決不定制主板/電源等復雜的PCB組件，一定要使用出貨量5萬塊以上的主板型號，使用通過了市場檢驗的產品。
3、 降低產品復雜度，讓更多的廠商可以參與。
因此，我們選擇了基于現有主板產品的重新整合，走淺定制化之路。
分解研發方向
有了項目目標和產品定位，我們進入到了項目分解階段。通過服務器使用成本構成分析，如圖3所示。
圖3 定制化服務器成本構成分析
通過成本構成分析，我們確認了以下三個工作方向：
1.減少電源數量+提高電源效率;
2.減少風扇數量+提高風扇效率;
3.減少五金結構+共享部分組件。
書面推演
為了后續尋找合適的廠商，我們使用一些計算公式進行推演，確認通過以上的三個工作方向可以節約的成本。例如使用電源共享方案，電源數量從12個550w可以縮減到三個1050w，同時電源轉換效率可以從82%，提升到92%，原理見圖三。散熱共享方案可以從30個4cm 10000轉風扇縮減到9個12cm 3000轉。綜合各種因素以后，計算得出TCO降幅約在10%-17%之間。
圖4
尋找合作伙伴
有了上述的書面推演，使我們明確了成本節約的幅度，也方便用數字和廠商溝通.然后就開始和國內及國際ODM/OEM品牌洽談合作意向。我們接觸了四類廠商，其特點如表2所示。
表2 四類廠商特點對比
整個溝通的過程是漫長和痛苦的，我們必須讓廠商相信這個合作項目可以為我們雙方都帶來價值，讓他們相信定制產品除了賣給我們還可以賣其他人。幸運的是最終我們說服了兩家合作伙伴，項目開始進入正軌。
京公網安備 11010502049343號