精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

從Odyssey與Apollo系統(tǒng)看惠普服務(wù)器的發(fā)展變革

責(zé)任編輯:editor006

2014-07-17 17:49:43

摘自:ZDNet至頂網(wǎng)

惠普公司的Odyssey計(jì)劃最新路線圖,基于C7000刀片的HydraLynx服務(wù)器已經(jīng)消失,而除了Integrity Superdome,Integrity NonStop也將遷移至x86平臺(tái)。惠普全球服務(wù)器高性能計(jì)算業(yè)務(wù)開(kāi)發(fā)部部門經(jīng)理Ed Turkel,對(duì)此進(jìn)一步表示,“我們談到高性能計(jì)算的發(fā)展,實(shí)際上是研究了不同的工作任務(wù)得出來(lái)的。

2011年9月,在飽受前CEO李艾科(Leo Apotheker)折磨之后,惠普請(qǐng)來(lái)了現(xiàn)任的CEO梅格·惠特曼(Meg Whitman)。后者在上任兩個(gè)月后即重新確定了惠普的重點(diǎn)發(fā)展方向,并在2011年惠普歐洲D(zhuǎn)ISCOVER大會(huì)上正式宣布,其中最重要的一條就是回歸本質(zhì)——重新審視并發(fā)揚(yáng)惠普的硬件基因,這一宗旨確立了惠特曼振興惠普的關(guān)鍵基礎(chǔ)——只有在創(chuàng)新的硬件基礎(chǔ)設(shè)施上才能提供更高效的企業(yè)應(yīng)用平臺(tái),再配合惠普配套的軟件(如安全、管理、數(shù)據(jù)分析等)與服務(wù),進(jìn)而擴(kuò)展至專注的綜合解決方案,帶給用戶完整且獨(dú)一無(wú)二的體驗(yàn),而這也將是惠普重新回到領(lǐng)導(dǎo)者地位的核心前提。

從車庫(kù)里誕生的惠普,在很長(zhǎng)一段時(shí)間里,都是美國(guó)科技界創(chuàng)新與技術(shù)研發(fā)的先鋒,但進(jìn)入21世紀(jì)之后,世俗的商人氣質(zhì)逐漸取代了“惠普之道”,雖然經(jīng)營(yíng)數(shù)字方面一直表現(xiàn)還算不錯(cuò),但也極大透支并消耗了惠普后續(xù)發(fā)展與競(jìng)爭(zhēng)的能量。惠特曼主導(dǎo)的回歸運(yùn)動(dòng)則從根本上逐步恢復(fù)起惠普引以為榮的核心價(jià)值觀,結(jié)果則是惠普在產(chǎn)品層面的創(chuàng)新明顯加快了,并陸續(xù)為惠普帶來(lái)了新的活力,而服務(wù)器即是其中之一。

惠普服務(wù)器全線產(chǎn)品組合與各自的定位

作為企業(yè)IT平臺(tái)的中樞,服務(wù)器的重要性不言而喻,而惠普是目前少數(shù)幾家擁有完整服務(wù)器產(chǎn)品線的廠商,從最高端關(guān)鍵業(yè)務(wù)服務(wù)器NonStop,到UNIX服務(wù)器Integrity再到基于x86的工業(yè)標(biāo)準(zhǔn)化服務(wù)器ProLiant,從塔式、機(jī)架到刀片再到高密度服務(wù)器與集成系統(tǒng)一應(yīng)俱全。

長(zhǎng)期以來(lái)惠普一直是這一市場(chǎng)的重要參與者和領(lǐng)導(dǎo)者。但是,隨著企業(yè)級(jí)IT發(fā)展趨勢(shì)的不斷變革,它需要廠商有著持續(xù)甚至超前的投入,才能確保在下一波潮流到來(lái)時(shí)不被邊緣化。在惠特曼上臺(tái)之前,惠普服務(wù)器自身的硬件發(fā)展雖說(shuō)不算落后,但也只能說(shuō)是中規(guī)中矩,更多的是一種按部就班的更新,而非創(chuàng)新,尤其是在主流的x86服務(wù)器領(lǐng)域,讓人眼前一亮的設(shè)計(jì)乏善可陳。不過(guò),在惠特曼就任之后,服務(wù)器創(chuàng)新的趨勢(shì)逐漸好轉(zhuǎn),在2011年11月,歐洲D(zhuǎn)ISCOVER大會(huì)的前夕,惠普宣布了Odyssey(奧德賽)計(jì)劃與Moonshot(登月)計(jì)劃,前者針對(duì)關(guān)鍵業(yè)務(wù)服務(wù)器,后者則針對(duì)高密度服務(wù)器,而在今年的北美DISCOVER大會(huì)上,惠普又面向商業(yè)高性能計(jì)算領(lǐng)域推出了Apollo系統(tǒng)。

Moonshot服務(wù)器在2013年4月正式亮相,而Odyssey計(jì)劃的第一個(gè)正式產(chǎn)物則在今年6月2日正式發(fā)布(CS900 HANA系統(tǒng)),它與Apollo系統(tǒng)一同成為了今年DISCOVER上最耀眼的服務(wù)器明星。筆,那么今天我們就將目光放在Odyssey與Apollo系統(tǒng)上,再次從具體的產(chǎn)品中來(lái)看一看惠普服務(wù)器的發(fā)展變革。

Odyssey:搶占高端關(guān)鍵業(yè)務(wù)平臺(tái)變革的先機(jī)

在2011年11月Odyssey計(jì)劃發(fā)布的第二天,我就寫(xiě)過(guò)一篇分析文章《惠普BCS服務(wù)器的奧德修斯之路》,文中詳細(xì)探討了Odyssey的用意以及x86服務(wù)器向高端發(fā)展的前景。時(shí)至今日,這一發(fā)展趨勢(shì)已經(jīng)愈加明顯,而x86平臺(tái)的高端主力也從至強(qiáng)E7變成了至強(qiáng)E7v2,平均性能有兩倍的提升,同時(shí)具備更為豐富的RAS(可靠性、可用性、可維護(hù)性)功能,如今的x86 Odyssey服務(wù)器也正是以E7v2基礎(chǔ)誕生的。

Odyssey的根本用意:在關(guān)鍵應(yīng)用承載要求與標(biāo)準(zhǔn)不變的前提下,對(duì)現(xiàn)有平臺(tái)挖掘新的潛能,并迅速擁抱新一代主流平臺(tái),這就意味著原有的關(guān)鍵業(yè)務(wù)平臺(tái)仍然會(huì)持續(xù)發(fā)展,但在新興的技術(shù)平臺(tái)上則搶占先機(jī)

在2013年5月召開(kāi)的SAP SAPPHIRE 2013大會(huì)上,惠普首席運(yùn)營(yíng)官Bill Veghte(左)與SAP首席技術(shù)官Vishal Sikka共同展示“Project Kraken”SAP HANA集成系統(tǒng)原型機(jī),它就是如今正式發(fā)布的CS900 HANA系統(tǒng)的前身

x86 Odyssey的第一款產(chǎn)品——CS900 HANA系統(tǒng),16插槽E7v2,擁有12TB內(nèi)存容量,這可以說(shuō)是當(dāng)今內(nèi)存容量最大的SAP HAHA集成系統(tǒng),從技術(shù)層面講,完全可以推出32插槽、24TB內(nèi)存的HANA系統(tǒng),關(guān)鍵在于市場(chǎng)的需求

很多人可能會(huì)疑問(wèn),為什么Odyssey的第一款產(chǎn)品并不是一臺(tái)“裸機(jī)”?這在業(yè)界可謂是慣例——先有裸機(jī),再在上面配以相應(yīng)的解決方案,而Odyssey一上來(lái)就是HANA系統(tǒng),這從另一方面也體現(xiàn)出惠普在服務(wù)器發(fā)展理念上的新特點(diǎn)。“我們認(rèn)為高端的關(guān)鍵業(yè)務(wù),一定是跟應(yīng)用場(chǎng)景相掛鉤的”,中國(guó)惠普副總裁、企業(yè)集團(tuán)關(guān)鍵業(yè)務(wù)服務(wù)器系統(tǒng)事業(yè)部總經(jīng)理樊瀛表示,“因此,在Odyssey的發(fā)展過(guò)程中也非常關(guān)注這一點(diǎn)”。其實(shí)說(shuō)到CS900 HANA系統(tǒng)的起源,主推者除了惠普,另一個(gè)很明顯就是SAP,否則單憑惠普自己而沒(méi)有應(yīng)用層面的配合,CS900 HANA也不可能誕生。樊瀛就此強(qiáng)調(diào),隨著x86高端平臺(tái)的日益成熟,傳統(tǒng)企業(yè)級(jí)關(guān)鍵應(yīng)用提供商也在密切關(guān)注這一平臺(tái)的發(fā)展,SAP的態(tài)度表明了市場(chǎng)對(duì)于這種大HANA系統(tǒng)的需求,Odyssey計(jì)劃正好與其相呼應(yīng),從而成為當(dāng)今業(yè)界最大的單系統(tǒng)HANA平臺(tái),別無(wú)他選。

中國(guó)惠普副總裁、企業(yè)集團(tuán)關(guān)鍵業(yè)務(wù)服務(wù)器系統(tǒng)事業(yè)部總經(jīng)理樊瀛強(qiáng)調(diào),惠普是目前能提供最完整關(guān)鍵業(yè)務(wù)應(yīng)用平臺(tái)的唯一廠商

CS900的“裸機(jī)版”,即將上市的代號(hào)為DragonHawk的Odyssey服務(wù)器,將是未來(lái)x86高端關(guān)鍵業(yè)務(wù)應(yīng)用的“通用平臺(tái)”

在最早的Odyssey計(jì)劃中,代號(hào)為DragonHawk(龍鷹)的服務(wù)器仍然會(huì)推出,時(shí)間大概是今年晚些時(shí)候,它可以是說(shuō)高端x86關(guān)鍵業(yè)務(wù)應(yīng)用的通用平臺(tái),你完全可以像使用傳統(tǒng)x86服務(wù)器那樣去使用它(當(dāng)然還要看應(yīng)用兼容性列表),但可以肯定的是主流的Linux與Windows Server 2012均沒(méi)有問(wèn)題。在規(guī)格方面,DragonHawk目前是16插槽12TB內(nèi)存的配置,未來(lái)還可擴(kuò)展至32插槽24TB,按E7v2的設(shè)計(jì),DragonHawk最高可具備480個(gè)處理核心(32插槽x 15核)。不過(guò),在最新的Odyssey路線圖,基于C7000刀片的HydraLynx(九頭蛇)服務(wù)器已經(jīng)消失,而現(xiàn)有的DL980服務(wù)器(8插槽至強(qiáng)E7)在E7v2時(shí)代也將消失,取而代之的就是DragonHawk,而DL580也將進(jìn)化至第9代產(chǎn)品,這表明Odyssey計(jì)劃自2011年宣布后,也正根據(jù)市場(chǎng)的變化進(jìn)行著相應(yīng)調(diào)整。

惠普公司的Odyssey計(jì)劃最新路線圖,基于C7000刀片的HydraLynx服務(wù)器已經(jīng)消失,而除了Integrity Superdome,Integrity NonStop也將遷移至x86平臺(tái)。當(dāng)然,傳統(tǒng)的UNIX以及同級(jí)別的高端系統(tǒng)由于歷史的積累,在RAS方面表現(xiàn)更佳,所以惠普的Odyssey計(jì)劃可以說(shuō)是兩條腿走路,其安騰平臺(tái)繼續(xù)發(fā)展,在現(xiàn)有的Paulson之后還會(huì)有Kittson更新,并帶動(dòng)HP-UX、OpenVMS以及NonStop系統(tǒng)的整體升級(jí)。惠普的思路很明確——傳統(tǒng)高端市場(chǎng)繼續(xù)發(fā)展,繼續(xù)為客戶提供最高RAS級(jí)別的關(guān)鍵業(yè)務(wù)負(fù)載平臺(tái),但對(duì)于新興的x86高端需求,則保持業(yè)界最高的關(guān)注度,滿足相應(yīng)用戶的,以更高性價(jià)比的RAS平臺(tái)來(lái)承載關(guān)鍵業(yè)務(wù)的需求,從而覆蓋完整的關(guān)鍵業(yè)務(wù)市場(chǎng)

對(duì)于HydraLynx的取消原因,我偏向于惠普自身刀片服務(wù)器發(fā)展策略的調(diào)整,對(duì)于一款已經(jīng)服役快9年的刀片服務(wù)器架構(gòu),C7000應(yīng)該已經(jīng)在惠普更新?lián)Q代的考慮目標(biāo)之內(nèi)了,就如同IBM的BladeCenter向FlexSystem過(guò)渡一樣,因此在此階段沒(méi)必要進(jìn)行太多的投入。對(duì)此判斷,惠普亞太及日本地區(qū)關(guān)鍵業(yè)務(wù)服務(wù)器產(chǎn)品部產(chǎn)品總監(jiān)陳武勝,并沒(méi)有給出明確的意見(jiàn)。不過(guò)他表示,產(chǎn)品都會(huì)有更新?lián)Q代的時(shí)候,而且企業(yè)IT的架構(gòu)也在持續(xù)演變著,比如幾年前刀片服務(wù)器被認(rèn)為是很理想的基礎(chǔ)平臺(tái),但近幾年所謂的Scale-Out橫向擴(kuò)展架構(gòu)與更高密度的機(jī)架、模塊化服務(wù)器也開(kāi)始流行,“HydraLynx取消的原因具體是什么,我說(shuō)不好,但Odyssey本身肯定會(huì)根據(jù)市場(chǎng)與用戶需求的變化而做出技術(shù)發(fā)展路線上的調(diào)整”。

惠普亞太及日本地區(qū)關(guān)鍵業(yè)務(wù)服務(wù)器產(chǎn)品部產(chǎn)品總監(jiān)陳武勝表示,“Odyssey源于業(yè)界的融合趨勢(shì),扎根于用戶的具體業(yè)務(wù)需求”

其實(shí)從某種角度上,可以看到DL980服務(wù)器的后續(xù)產(chǎn)品型號(hào)的消失與HydraLynx受到的待遇有相似之處,作為至強(qiáng)E7時(shí)代的明星產(chǎn)品,DL980無(wú)論從設(shè)計(jì)還是性能方面,均可以說(shuō)難封對(duì)手,但在E7v2時(shí)代它沒(méi)有了后續(xù)更新(DL580則推出了基于E7v2的Gen8型號(hào))。最終我們?cè)?插槽的產(chǎn)品檔位上,看到是一個(gè)8插槽(可擴(kuò)展至16插槽)配置與Superdome2設(shè)計(jì)相結(jié)合的產(chǎn)物,這就是DragonHawk,它獨(dú)自承擔(dān)了DL980與原先HydraLynx產(chǎn)品線目標(biāo)市場(chǎng),不過(guò)對(duì)于這樣的安排,筆者仍然持保留態(tài)度,畢竟DL980是機(jī)架式的,DragonHawk則是Superdome2刀片架構(gòu),是否真能覆蓋相應(yīng)的用戶需求,還有待觀察,最重要的就是DragonHawk還沒(méi)有上市,DL980要靠E7支撐到今年年底。

“這可能是中國(guó)市場(chǎng)的特色,全球8插槽賣得最好的就是中國(guó)市場(chǎng)”,陳武勝表示,“而Odyssey是根據(jù)全球市場(chǎng)的需求調(diào)研來(lái)做出的規(guī)劃,雖然的確有一定的時(shí)間空檔,但相信DragonHawk上市后可以迅速?gòu)浹a(bǔ)。”但不管惠普在相關(guān)產(chǎn)品的市場(chǎng)規(guī)劃中是否有所疏漏,均不可否認(rèn)這次惠普在x86頂級(jí)服務(wù)器市場(chǎng)走在了前面。

然而,對(duì)于x86未來(lái)向更高端發(fā)展的趨勢(shì),業(yè)界已經(jīng)普遍達(dá)成了共識(shí),這也就意味著未來(lái)必然會(huì)有其他廠商進(jìn)入這一市場(chǎng),即使現(xiàn)有的某些廠商的8插槽服務(wù)器也甚至可以在規(guī)格上與DragonHawk叫板——后者8插槽時(shí)只有6TB內(nèi)存,而這僅是當(dāng)前4插槽E7v2服務(wù)器(比如DL580 Gen8)的水平。

對(duì)此陳武勝?gòu)?qiáng)調(diào),DragonHawk是RAS特性最高的x86服務(wù)器,超高的配置并非其重點(diǎn),也不是關(guān)鍵業(yè)務(wù)平臺(tái)的核心需求,DragonHawk綜合體現(xiàn)了惠普在關(guān)鍵業(yè)務(wù)應(yīng)用平臺(tái)上的最佳實(shí)踐。“比如E7v2的硬件RAS功能,我們是百分百支持的,現(xiàn)在還沒(méi)有其他廠商可以做到這一點(diǎn)”,陳武勝表示,“我們?cè)谡w的硬件架構(gòu)、固件設(shè)計(jì)以及相應(yīng)的軟件配套上,都發(fā)揮了所有E7v2的硬件RAS能力。”事實(shí)上,關(guān)鍵業(yè)務(wù)服務(wù)器并非在縱向上把配置簡(jiǎn)單堆疊提高就可以了,對(duì)于整體業(yè)務(wù)應(yīng)用平臺(tái)的可靠、可用與可維護(hù)性均有非同一般的要求,這也是為什么x86平臺(tái)一直要努力的地方,并且不僅僅是硬件一方,基礎(chǔ)軟件、應(yīng)用軟件與整體的解決方案都要符合用戶對(duì)于關(guān)鍵業(yè)務(wù)應(yīng)用的期望才可以,這其中有性能方面的,但更重要的則是可用性方面的。

也正是基于這種態(tài)度,惠普并沒(méi)有刻意將關(guān)鍵業(yè)務(wù)應(yīng)用服務(wù)器打上某種技術(shù)平臺(tái)上的標(biāo)簽,Odyssey計(jì)劃即是如此。雖然DragonHawk引人矚目,但必須強(qiáng)調(diào)它并非Odyssey的全部。針對(duì)傳統(tǒng)習(xí)慣與新銳趨勢(shì)的融合,Odyssey計(jì)劃的本質(zhì)不是強(qiáng)迫用戶做出抉擇——既非激進(jìn)的放棄傳統(tǒng),也非保守的堅(jiān)持習(xí)慣,而是提供更多的選擇,最終讓惠普在面對(duì)未來(lái)關(guān)鍵業(yè)務(wù)應(yīng)用平臺(tái)變革時(shí),以更完整的產(chǎn)品方案組合,在更大范圍上滿足客戶的需求。

在關(guān)鍵業(yè)務(wù)應(yīng)用平臺(tái)方面,惠普所強(qiáng)調(diào)的創(chuàng)新與發(fā)展并不僅局限于x86領(lǐng)域,Odyssey也是如此

HP-UX系統(tǒng)在未來(lái)還會(huì)迎來(lái)Kittson處理器平臺(tái),并在此基礎(chǔ)進(jìn)一步加強(qiáng)承載能力、災(zāi)備能力、安全特性、管理能力和I/O性能,現(xiàn)有的基于安騰9500平臺(tái)的動(dòng)能服務(wù)器則會(huì)支持到2022年

從全局的發(fā)展來(lái)看,Odyssey的規(guī)劃?rùn)M跨傳統(tǒng)系統(tǒng)的延續(xù)與新的x86平臺(tái)兩大層面,在DragonHawk之后,惠普的頂級(jí)服務(wù)器NonStop也將擁抱x86,與基于Kittson的版本一起為用戶帶來(lái)更多的選擇

樊瀛透露,基于HP-UX的動(dòng)能服務(wù)器在中國(guó)市場(chǎng)上的勢(shì)頭不錯(cuò),NonStop也獲得了不少新的訂單,這表明市場(chǎng)的需求是多樣的,尤其是那些傳統(tǒng)的中大型客戶,對(duì)于UNIX系統(tǒng)和NonStop仍然有更強(qiáng)烈的信任,“我們發(fā)現(xiàn)關(guān)注HP-UX的用戶與關(guān)注高端x86業(yè)務(wù)平臺(tái)的用戶并沒(méi)有什么沖突,雖然說(shuō)后者是一個(gè)逐漸顯現(xiàn)的趨勢(shì),但就目前來(lái)看,這部分用戶很少來(lái)自現(xiàn)有的HP-UX用戶”。樊瀛的表述,也獲得了陳武勝的進(jìn)一步肯定,“UNIX系統(tǒng)在傳統(tǒng)關(guān)鍵業(yè)務(wù)系統(tǒng)中仍然有很強(qiáng)的根基,要想取代它并非一朝一夕就可以完成的,而從技術(shù)上看也是如此,x86平臺(tái)仍然有很大的提升空間”,他同時(shí)強(qiáng)調(diào),“惠普正好處于這樣的一個(gè)技術(shù)銜接點(diǎn)上,我們也有這樣的實(shí)力,將傳統(tǒng)UNIX系統(tǒng)上的RAS能力嫁接到x86平臺(tái)上,這不是隨便一個(gè)廠商就能做到的,在DragonHawk背后集合了惠普數(shù)十年在關(guān)鍵業(yè)務(wù)平臺(tái)上的經(jīng)驗(yàn)精華”。

Apollo:專注于細(xì)分HPC市場(chǎng)方案級(jí)系統(tǒng)平臺(tái)

惠普是當(dāng)前全球最大的服務(wù)器廠商,這其中在業(yè)界主流的x86領(lǐng)域,惠普與之應(yīng)對(duì)的就是“工業(yè)標(biāo)準(zhǔn)服務(wù)器”(ISS,Industry Standard Server)。顧名思義,x86已經(jīng)成為了業(yè)界的工業(yè)標(biāo)準(zhǔn),并且也是開(kāi)放的、通用的。它不同于傳統(tǒng)的UNIX服務(wù)器,相關(guān)的廠商技術(shù)體系是獨(dú)立而封閉的,廠商完全可以按照自己的想法來(lái)設(shè)計(jì)服務(wù)器,進(jìn)而不斷強(qiáng)化并突顯自己的競(jìng)爭(zhēng)優(yōu)勢(shì)。但在x86平臺(tái)上,80%的核心組件已經(jīng)是標(biāo)準(zhǔn)化,你很難再做出某種“我有你無(wú)”的服務(wù)器,但反過(guò)來(lái),如果你真的做到了,也將在“標(biāo)準(zhǔn)化的產(chǎn)品海洋”中脫穎而出。在我看來(lái),惠普最新的Apollo高性能計(jì)算系統(tǒng)即屬此列。

惠普在x86服務(wù)器領(lǐng)域的領(lǐng)導(dǎo)地位毋庸置疑

高性能計(jì)算(HPC)在很多人看來(lái)是一種“高大上”的應(yīng)用,印象中更多的是那些國(guó)家級(jí)實(shí)驗(yàn)室與大型企業(yè)的專屬系統(tǒng),但是我們不能否認(rèn)的一個(gè)事實(shí)則是計(jì)算越來(lái)越普遍。

隨著人類社會(huì)的不斷演進(jìn),信息化程度越來(lái)越高,很多時(shí)候計(jì)算已經(jīng)不再那些科研前沿的專利,對(duì)于信息本身的處理也越來(lái)越需要強(qiáng)大的計(jì)算能力。一個(gè)相近的典型例子就是大數(shù)據(jù),從某種角度上講,大數(shù)據(jù)分析也可以算是HPC的一個(gè)分支,而越來(lái)越多的商業(yè)公司也正在重視HPC在其業(yè)務(wù)中的重要性。可是,當(dāng)這類企業(yè)準(zhǔn)備采購(gòu)HPC系統(tǒng)時(shí),就會(huì)發(fā)現(xiàn)現(xiàn)有的HPC系統(tǒng)似乎并沒(méi)有為他們這類用戶做好準(zhǔn)備。在很多情況下,要不就是現(xiàn)有的HPC系統(tǒng)的能力對(duì)于這類中小型需求明顯浪費(fèi),要不就是習(xí)慣了高級(jí)技術(shù)人員伺候的HPC系統(tǒng)讓這類客戶望而卻步,又或者是現(xiàn)有HPC系統(tǒng)的采購(gòu)或運(yùn)維成本讓他們難以承受。漸漸的,這種間隙成為了商業(yè)HPC系統(tǒng)細(xì)分市場(chǎng)不斷擴(kuò)大的基礎(chǔ),從而也就促成了惠普Apollo系統(tǒng)的誕生。

惠普全球服務(wù)器高性能計(jì)算業(yè)務(wù)開(kāi)發(fā)部部門經(jīng)理Ed Turkel,對(duì)此進(jìn)一步表示,“我們談到高性能計(jì)算的發(fā)展,實(shí)際上是研究了不同的工作任務(wù)得出來(lái)的。當(dāng)人們想到HPC的時(shí)候,他們通常理解的是針對(duì)政府和學(xué)術(shù)界的高性能計(jì)算。但實(shí)際上HPC可以被應(yīng)用到不同的行業(yè),比如電子設(shè)計(jì)、金融服務(wù)、汽車,甚至有一些電影行業(yè)的3D設(shè)計(jì)都在使用HPC技術(shù)。當(dāng)我們研究了HPC不同的細(xì)節(jié)應(yīng)用以后,發(fā)現(xiàn)所有的應(yīng)用都集中需要更好的性能。隨著計(jì)算擴(kuò)展的范圍越來(lái)越大,我們可以看到更多的客戶對(duì)單位面積的效率和能耗有了更高的需求。同時(shí),我們發(fā)現(xiàn)HPC領(lǐng)域需要更廣泛的兼容性和可訪問(wèn)性,因?yàn)楦嗫蛻粢蟾?jiǎn)潔的系統(tǒng)以便更好的管理,他們同時(shí)希望一些新的業(yè)務(wù)需求和想法也都可以快速地實(shí)現(xiàn)。為了更好地加強(qiáng)HPC行業(yè)的發(fā)展,今天我們鄭重地發(fā)布了惠普Apollo產(chǎn)品。”

惠普全球服務(wù)器高性能計(jì)算業(yè)務(wù)開(kāi)發(fā)部部門經(jīng)理Ed Turkel表示,Apollo系統(tǒng)是惠普工業(yè)標(biāo)準(zhǔn)服務(wù)器在HPC領(lǐng)域的專注創(chuàng)新的成果

首批發(fā)布的Apollo系統(tǒng)包括兩大系列——Apollo 6000與Apollo 8000,從字面上就能知道后者更為強(qiáng)大,但事實(shí)上兩者的定位有明顯的不同。Ed Turkel首先強(qiáng)調(diào),“這兩個(gè)產(chǎn)品都是專門為高性能計(jì)算領(lǐng)域量身定制的。我們不光提高自身計(jì)算的性能,也為客戶在更創(chuàng)新的性能上提高了更多可能性。惠普Apollo系統(tǒng)可以在原來(lái)同等面積下,每平方英尺中提供4倍的浮點(diǎn)運(yùn)算能力,以在更高的性能上快速獲取結(jié)果。同時(shí)我們致力于效率最大化,包括兩個(gè)方面,一是最大化地提升能耗的效率,二是我們?cè)谟邢薜臋C(jī)架中提高更多的計(jì)算密度,實(shí)際上我們是在每個(gè)機(jī)架上可以提供四倍的密度。同時(shí)我們還致力于把HPC方案的可擴(kuò)展性、可應(yīng)用性提高到最大。正是考慮到用戶的類別與差異性,Apollo系統(tǒng)有著極大的可擴(kuò)展性,可以滿足不同類型與規(guī)模用戶的應(yīng)用需求。”

Apollo 6000系統(tǒng)和其主要的組成,它的主要功能組件都是專門研發(fā)的,包括專用的服務(wù)器機(jī)箱、高密度服務(wù)器與池化電源模塊,并最終以一個(gè)方案級(jí)的系統(tǒng)統(tǒng)一交付給用戶,而非是采用現(xiàn)有的ProLiant服務(wù)器堆加而成。Apollo 6000的服務(wù)器機(jī)箱為5U設(shè)計(jì),第個(gè)機(jī)箱滿配10臺(tái)ProLiant XL220a服務(wù)器,每臺(tái)服務(wù)器內(nèi)含兩個(gè)單路處理節(jié)點(diǎn)(未來(lái)有雙路型號(hào)),每單路節(jié)點(diǎn)配32GB內(nèi)存,整個(gè)機(jī)柜滿載8個(gè)機(jī)箱,80個(gè)ProLiant XL220a服務(wù)器,160個(gè)單路計(jì)算節(jié)點(diǎn)

Apollo 6000系統(tǒng)另辟蹊徑,第一期服務(wù)器采用單路至強(qiáng)E3處理器,強(qiáng)調(diào)單線程高性能計(jì)算性能,主攻電子設(shè)計(jì)自動(dòng)化(EDA,Electronic Design Automation)與金融風(fēng)險(xiǎn)控制領(lǐng)域

Apollo 6000系統(tǒng)是一個(gè)風(fēng)冷系統(tǒng),以完全模塊化的設(shè)計(jì)為原則,以整機(jī)系統(tǒng)交付用戶使用,在這一系統(tǒng)中的重點(diǎn)功能組件都是重新開(kāi)發(fā)的。第一期的產(chǎn)品是基于英特爾至強(qiáng)E3的單路服務(wù)器(E3-1200v3),為此專門設(shè)計(jì)了ProLiant X220a服務(wù)器,每臺(tái)服務(wù)器內(nèi)具備兩個(gè)E3-1200v3節(jié)點(diǎn)(處理器含2或4個(gè)核心)。在未來(lái),還將有兩路的型號(hào),屆時(shí)一臺(tái)ProLiant X220a就是一個(gè)雙路節(jié)點(diǎn)。而10臺(tái)ProLiant X220a為一組納入一個(gè)Apollo 6000機(jī)箱,這個(gè)機(jī)箱與刀片服務(wù)器很像,但它并沒(méi)有電源模塊。Apollo 6000采用獨(dú)立的集中式電源模塊,被稱為“池化電源”,兩個(gè)電源模塊給整個(gè)機(jī)柜共8個(gè)服務(wù)器機(jī)箱進(jìn)行供電,而整體系統(tǒng)的單機(jī)柜可提供160個(gè)單路節(jié)點(diǎn)的計(jì)算密度。由于它的設(shè)計(jì)原則就是針對(duì)強(qiáng)調(diào)單線程性能的HPC場(chǎng)景,與原有強(qiáng)調(diào)多線程并行計(jì)算的領(lǐng)域有了明顯的區(qū)隔,因此也可以看出惠普對(duì)新興的HPC細(xì)分市場(chǎng)的一種重視。

據(jù)Ed Turkel透露,Apollo 6000系統(tǒng)的第一個(gè)客戶就是至強(qiáng)E3處理器的提供者——英特爾公司,其CIO Kim Stevenson對(duì)Apollo有著如此的評(píng)價(jià):在電子設(shè)計(jì)自動(dòng)化應(yīng)用程序工作負(fù)載上,我們看到35%的性能提升。我們已經(jīng)部署了5000多臺(tái)這樣的服務(wù)器,實(shí)現(xiàn)了更好的機(jī)架密度和功率效率,同時(shí)為英特爾硅片設(shè)計(jì)工程師提供更高的應(yīng)用程序性能。對(duì)此,Ed Turkel進(jìn)一步補(bǔ)充到,“原來(lái)英特爾EDA部門的服務(wù)器基本上用的是刀片服務(wù)器40000多個(gè),我們通過(guò)用15000臺(tái)的Apollo 6000服務(wù)器替換過(guò)來(lái),使客戶實(shí)現(xiàn)了更好的機(jī)架密度、功率密度,同時(shí)在使用中提供了更簡(jiǎn)單的方法,幫助英特爾EDA部門更好地設(shè)計(jì)微型處理器。”

與6000相比,Apollo 8000系統(tǒng)明顯更為“主流”一些,它所針對(duì)的市場(chǎng)就是大多數(shù)人所能想像并理解的典型HPC應(yīng)用,但在具體的設(shè)計(jì)上它并不傳統(tǒng),這也讓其具備了更為明顯的獨(dú)特性。Ed Turkel強(qiáng)調(diào)Apollo 8000是業(yè)界第一個(gè)100%液態(tài)制冷的HPC系統(tǒng),之所以說(shuō)是液態(tài)而不是水冷,是因?yàn)樗玫降闹评涿浇椴⒎侨渴撬詮膰?yán)格的定義來(lái)講就是“液態(tài)制冷”,而這其背后有著多項(xiàng)的創(chuàng)新。

一套Apollo 8000系統(tǒng)至少由兩個(gè)機(jī)柜組成,我們可以理解為一個(gè)是計(jì)算節(jié)點(diǎn)機(jī)柜(f8000),一個(gè)是制冷機(jī)柜(iCDU),后者最多可以支撐4個(gè)f8000機(jī)柜,高度均為52U。Apollo 8000系統(tǒng)創(chuàng)新性的采用獨(dú)立的電源供給單元(機(jī)柜中間部分),以求達(dá)到最佳的能耗與功率控制效果,也進(jìn)一步提高了系統(tǒng)的能效,而獨(dú)立的制冷分配單元(CDU,Cooling Distribution Unit)也保證了系統(tǒng)的綜合冷卻效果(位于iCDU機(jī)柜的下半部分,上半部的26U空間可以用于裝載IT設(shè)備,如計(jì)算或連接模塊)

與Apollo 6000一樣,8000的重點(diǎn)功能組件也是重新設(shè)計(jì)的,ProLiant XL730f服務(wù)器內(nèi)置兩個(gè)雙路計(jì)算節(jié)點(diǎn)(采用至強(qiáng)E5-2600 v3處理器,每個(gè)節(jié)點(diǎn)256GB內(nèi)存并配有一塊SFF SSD),在1U的全寬機(jī)架內(nèi)包含兩臺(tái)ProLiant XL730f服務(wù)器,一個(gè)f8000機(jī)柜中最多可裝載72臺(tái)ProLiant XL730f服務(wù)器(另外8個(gè)槽位留給InfiniBand交換機(jī)模塊),共144個(gè)雙路計(jì)算節(jié)點(diǎn),目前采用NVIDIA Tesla與英特爾經(jīng)Xeon Phi的加速處理模塊也已經(jīng)推出

Apollo 8000目前可能提供超過(guò)250萬(wàn)億次浮點(diǎn)運(yùn)算/機(jī)架的計(jì)算性能,是目前傳統(tǒng)HPC系統(tǒng)的4倍,而通過(guò)惠普自己的制冷專利,只需溫水(不超過(guò)30攝氏度)即可滿足散熱要求,這對(duì)于后續(xù)的運(yùn)營(yíng)成本有著巨大的好處。Ed Turkel表示,“溫水制冷系統(tǒng)可以幫助客戶每年節(jié)約100萬(wàn)美元以上的運(yùn)營(yíng)成本,這種節(jié)約可以持續(xù)超過(guò)5年以上。這個(gè)能耗的節(jié)約如果轉(zhuǎn)換成二氧化碳的排放量,可以看到每年減少3800噸的二氧化碳的排放,對(duì)整個(gè)環(huán)境的貢獻(xiàn)可想而知。所以,我想再次強(qiáng)調(diào),惠普Apollo 8000的發(fā)布對(duì)推進(jìn)整個(gè)超級(jí)計(jì)算領(lǐng)域包括達(dá)到下一代計(jì)算標(biāo)準(zhǔn)起到了關(guān)鍵的作用。”

不過(guò),剛才說(shuō)是液態(tài)制冷,現(xiàn)在又說(shuō)是溫水,那么到底是怎么回事呢?現(xiàn)在我們有必要來(lái)深入了解一下Apollo 8000的液態(tài)制冷的原理。中國(guó)惠普企業(yè)集團(tuán)工業(yè)標(biāo)準(zhǔn)服務(wù)器產(chǎn)品部產(chǎn)品市場(chǎng)總監(jiān)溫潔,對(duì)此總結(jié)到——Apollo 8000系統(tǒng)由內(nèi)至外,實(shí)際上有著三層液態(tài)循環(huán)系統(tǒng),將熱量逐級(jí)的導(dǎo)出,并可帶來(lái)附加的利用,而這其中也有多項(xiàng)惠普的專利創(chuàng)新。

在ProLiant XL730f服務(wù)器中,每個(gè)處理器模塊上方都有一個(gè)封閉的導(dǎo)熱管回路,管中封裝的并不是水,而是類似于空調(diào)里所用的制冷劑,它與服務(wù)器內(nèi)部的組件干式接觸,不用擔(dān)心水浸的問(wèn)題發(fā)生,導(dǎo)熱管完成了第一層循環(huán)

在f8000機(jī)柜中,兩臺(tái)ProLiant XL730f服務(wù)器之間就是水墻冷卻通道,服務(wù)器與水墻之間采用專門的散熱夾層銜接

服務(wù)器間的水墻由iCDU控制進(jìn)行循環(huán),冷水從機(jī)柜底部注處,熱水則從頂部抽出,完成第二層循環(huán),iCDU機(jī)柜可最多支持4個(gè)f8000機(jī)柜的制冷與散熱

在第三層循環(huán)中,iCDU會(huì)把熱水導(dǎo)出系統(tǒng)(數(shù)據(jù)中心),在室外進(jìn)行冷卻,普通的冷卻塔即可滿足要求,而在冬天,Apollo 8000系統(tǒng)所產(chǎn)生的“熱水”還可以給建筑物進(jìn)行供熱,一舉兩得,進(jìn)一步節(jié)約了能源消耗

溫潔表示,“Apollo 8000系統(tǒng)對(duì)水質(zhì)并沒(méi)有特殊的要求,符合美國(guó)采暖、制冷與空調(diào)工程師學(xué)會(huì)(ASHRAE,American Society of Heating Refrigerating and Airconditioning Engineer)的標(biāo)準(zhǔn)即可,而水溫只需要限定在30攝氏度以下,這對(duì)于中國(guó)地域來(lái)說(shuō),基本均可滿足要求。”不過(guò)她強(qiáng)調(diào),Apollo 8000系統(tǒng)可能會(huì)對(duì)現(xiàn)有的數(shù)據(jù)中心提出挑戰(zhàn),因?yàn)檫@種制冷設(shè)計(jì)非常新穎,現(xiàn)有的很多數(shù)據(jù)中心可能都需要改造,但條件其實(shí)也比較容易滿足——有可靠的供、排水系統(tǒng)以及室外的冷卻塔,就可以部署Apollo 8000,這方面中國(guó)惠普的技術(shù)支持團(tuán)隊(duì)可以提供具體的服務(wù)。

部署在NREL內(nèi)的Apollo 8000系統(tǒng)與其所帶來(lái)的收益,稱Apollo 8000為綠色HPC系統(tǒng)并不過(guò)分

對(duì)于正在規(guī)劃的數(shù)據(jù)中心,或者打算在某種特定的室內(nèi)環(huán)境中使用,Apollo 8000則就是一個(gè)非常便于部署的HPC系統(tǒng)。目前Apollo 8000的一個(gè)最為典型的用戶就是其第一個(gè)用戶——美國(guó)國(guó)家再生能源局下屬的國(guó)家再生能源實(shí)驗(yàn)室(NREL,National Renewable Energy Lab),它把Apollo 8000部署在了自己的辦公大樓里。Ed Turkel表示,前面所講到的那個(gè)成本優(yōu)勢(shì)就是來(lái)自于美國(guó)國(guó)家再生能源局局長(zhǎng)的表述,Apollo 8000系統(tǒng)可以幫助他們每年節(jié)省100萬(wàn)美元的能源支出。這些能源支出由兩部分組成,一部分是我們幫助他們節(jié)省了制冷的成本,另外系統(tǒng)產(chǎn)生出來(lái)的熱水我們還能幫助他們?cè)俅卫茫瑥亩?jié)省了供熱能源的開(kāi)支——“這套Apollo 8000的PUE可以在5年內(nèi)持續(xù)穩(wěn)定在1.06,并不會(huì)因?yàn)闀r(shí)間的推移而升高(目前主流的風(fēng)冷方案會(huì)隨時(shí)間的累積而使PUE逐漸提升),還可將185000平方英尺的辦公室供熱系統(tǒng)作為其冗余的散熱循環(huán)。”

源于融合:專注細(xì)分潛力市場(chǎng)與半定制化系統(tǒng)級(jí)設(shè)計(jì)引領(lǐng)惠普服務(wù)器變革

在前文我們說(shuō)過(guò),對(duì)于產(chǎn)品和解決方案的供應(yīng)商,需要一直關(guān)注市場(chǎng)趨勢(shì)的走向,并以此做出具體的應(yīng)對(duì)決策。這其中就包含了兩個(gè)層面——1、對(duì)趨勢(shì)的把握與市場(chǎng)需求的判斷;2、以怎樣的策略應(yīng)對(duì)?而從上文的介紹中,我們可以清晰的感覺(jué)到惠普服務(wù)器在這兩個(gè)層面上的作為,而這也引領(lǐng)了惠普服務(wù)器本身的發(fā)展與變革。

關(guān)注細(xì)分潛力市場(chǎng)是惠普服務(wù)器給我的深刻印象,Odyssey、Moonshot與Apollo無(wú)不是這一戰(zhàn)略的產(chǎn)物。Odyssey專注于未來(lái)的高端關(guān)鍵業(yè)務(wù)服務(wù)器市場(chǎng)的變革與創(chuàng)新,Moonshot專注于高密度服務(wù)器市場(chǎng)的開(kāi)拓,而Apollo則專注于逐漸擴(kuò)大與普及的規(guī)模高度彈性的商業(yè)HPC領(lǐng)域,而對(duì)于這類細(xì)分潛力市場(chǎng)的專注讓惠普服務(wù)器獲得了較好的先發(fā)優(yōu)勢(shì),在這個(gè)習(xí)慣了“先入為主”的世界中,這一策略非常重要,而業(yè)界所帶來(lái)的反饋也基本證明了這些專注方向的正確性。Odyssey將明顯占據(jù)未來(lái)高端x86關(guān)鍵業(yè)務(wù)服務(wù)器的制高點(diǎn),Moonshot也已經(jīng)成為高密度模塊化服務(wù)器市場(chǎng)的領(lǐng)頭羊,以其為基礎(chǔ)的新一代融合系統(tǒng)正在提供著越來(lái)越豐富的集成方案(比如ARM服務(wù)器的Web集群、HDI桌面方面等),而Apollo系統(tǒng)則為惠普在商業(yè)細(xì)分HPC市場(chǎng)打下了良好的基礎(chǔ)。

Moonshot是惠普服務(wù)器的另一個(gè)系統(tǒng)級(jí)創(chuàng)新范例

當(dāng)看準(zhǔn)潛在市場(chǎng)后,在具體的解決方案層面,我們也能看到惠普的新意。其實(shí),很多業(yè)界的發(fā)展方向其實(shí)并不是那么隱蔽,大多數(shù)廠商的服務(wù)器關(guān)注點(diǎn)其實(shí)都差不多——關(guān)鍵業(yè)務(wù)、通用計(jì)算、HPC、互聯(lián)網(wǎng)/云應(yīng)用等等,但到了最終的產(chǎn)品方案落地階段,就體現(xiàn)出差異了。大多數(shù)廠商可能會(huì)從組件級(jí)入手進(jìn)行創(chuàng)新,但創(chuàng)新的規(guī)模到BOX產(chǎn)品級(jí)就大多結(jié)束了,也因此我們會(huì)看到新的服務(wù)器層出不窮,這家可能在內(nèi)存方面有所突破,那家可能在連接或存儲(chǔ)方面有所革新,但在主流的通用標(biāo)準(zhǔn)化服務(wù)器(比如x86)整體的處理平臺(tái)被少數(shù)CPU廠商所統(tǒng)治的今天,產(chǎn)品級(jí)的創(chuàng)新空間已經(jīng)不大。由此一來(lái),我們會(huì)發(fā)現(xiàn)服務(wù)器研發(fā)又迅速走向了另一個(gè)極端——開(kāi)放式硬件設(shè)計(jì),這方面Facebook主導(dǎo)的OCP與中國(guó)的天蝎計(jì)劃就是很好的代表。它們?yōu)榉?wù)器創(chuàng)新提供了廣闊的空間,但它們?cè)趹?yīng)用層面也有著巨大的局限,比如OCP與天蝎的目標(biāo)用戶更多的是大型的IDC與互聯(lián)網(wǎng)企業(yè),主流的商業(yè)用戶很難迅速利用它們的研發(fā)成果,畢竟這其中的商業(yè)模式與應(yīng)用體系有了很大不同,并且對(duì)于企業(yè)自身的技術(shù)力量也有著較高的要求。對(duì)此惠普的策略也非常明確——在緊隨開(kāi)放式硬件設(shè)計(jì)浪潮的同時(shí)(比如與富士康的合作),將這種定制化模式融入進(jìn)更合理的,針對(duì)細(xì)分市場(chǎng)需求所進(jìn)行的系統(tǒng)方案級(jí)的創(chuàng)新之中,我稱之為“半定制化系統(tǒng)級(jí)設(shè)計(jì)”,這在Odyssey、Moonshot與Apollo系統(tǒng)或多或少均有體現(xiàn)。

第一款Odyssey服務(wù)器是以SAP HANA開(kāi)頭,而非通用服務(wù)器,體現(xiàn)了對(duì)于應(yīng)用場(chǎng)景的進(jìn)一步重視,從某種角度上講,CS900就是為了特定HANA應(yīng)用的一種半定制化方案,而相比之下,Moonshot與Apollo在這方面的體現(xiàn)得更為突出。兩者均有組件與產(chǎn)品級(jí)的創(chuàng)新,但最終交給用戶的則一個(gè)更高級(jí)的方案級(jí)系統(tǒng),Moonshot所使用的微卡服務(wù)器,以及Apollo系統(tǒng)中的服務(wù)器節(jié)點(diǎn),均不是標(biāo)準(zhǔn)的產(chǎn)品,但卻是實(shí)實(shí)在在的新品,只不過(guò)它們是為定制的系統(tǒng)而誕生的,與此同時(shí),相關(guān)配套組件(電源、連接、制冷等)在整機(jī)柜/機(jī)箱中的設(shè)計(jì)與配置,也有很多OCP/天蝎的影子,從而在更高的層面上實(shí)現(xiàn)了創(chuàng)新,從這一點(diǎn)來(lái)說(shuō),將其定義為“半定制化系統(tǒng)級(jí)設(shè)計(jì)”并不為過(guò)。

顯然,這樣的系統(tǒng)產(chǎn)品方案,比單純的BOX級(jí)別的變革更有吸引力,也更符合當(dāng)前的用戶需求方向——盡快、盡好的部署業(yè)務(wù)所需求的系統(tǒng),而這種至上而下,由里到外的全面的系統(tǒng)級(jí)集成與創(chuàng)新,在綜合表現(xiàn)上也是產(chǎn)品級(jí)堆疊方案所無(wú)法比擬的(即使是采用新的集成設(shè)計(jì),如系統(tǒng)機(jī)柜或機(jī)箱,但仍然用原有的標(biāo)準(zhǔn)化服務(wù)器產(chǎn)品),比如電源能效、集中管理、計(jì)算密度、制冷效率等等。

而進(jìn)一步分析,我們就會(huì)發(fā)現(xiàn)這種系統(tǒng)級(jí)的方案思路也正好與惠普率先提出的融合基礎(chǔ)設(shè)施(CI,Converged Infrastructure)理念一脈相承(必須承認(rèn)惠普是第一個(gè)提出這一理念的廠商,如今這一概念與產(chǎn)品形態(tài)已經(jīng)被廣泛業(yè)界認(rèn)可貞接納)。因此追本溯源,CI其實(shí)就是惠普服務(wù)器發(fā)展變革的“頂層設(shè)計(jì)”。時(shí)至今日,即使很多廠商都在借用CI這一理念,但縱觀下來(lái),不得不說(shuō)惠普是對(duì)CI理念領(lǐng)略更深,執(zhí)行更為徹底的廠商。雖然這一理念并不是在惠特曼時(shí)代提出,但顯然在惠特曼上臺(tái)之后得以進(jìn)一步發(fā)揚(yáng)光大。

綜上所述,我們可以看到一個(gè)惠普服務(wù)器總體的變革輪廓與其內(nèi)在的動(dòng)因。在我看來(lái),惠普服務(wù)器在傳統(tǒng)設(shè)計(jì)與開(kāi)放設(shè)計(jì)之間,走出了一條可能更有生命力的道路,配合更為專注的細(xì)分市場(chǎng)戰(zhàn)略,也讓惠普服務(wù)器逐步實(shí)現(xiàn)了自身的變革。如果按此態(tài)勢(shì)發(fā)展下去,我相信惠普服務(wù)器的市場(chǎng)領(lǐng)導(dǎo)者地位也將持續(xù)更長(zhǎng)的時(shí)間,也將進(jìn)一步推動(dòng)惠特曼所倡導(dǎo)的“惠普之道”的回歸。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)

  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 巴青县| 翁源县| 樟树市| 韩城市| 松潘县| 察哈| 塔河县| 香河县| 历史| 桐梓县| 自治县| 怀来县| 合作市| 兴义市| 沂南县| 满城县| 宾阳县| 吴忠市| 故城县| 琼海市| 阿勒泰市| 平和县| 安陆市| 旺苍县| 云南省| 敦煌市| 兴国县| 周宁县| 汝阳县| 安顺市| 麻江县| 北流市| 德庆县| 成武县| 图们市| 伽师县| 家居| 靖宇县| 马龙县| 闵行区| 当阳市|