在今天的文章中，我們將從六個(gè)角度來探討為什么企業(yè)、甚至是初創(chuàng)企業(yè)正著手運(yùn)用超級計(jì)算資源，而IT組織又能夠怎樣通過這一強(qiáng)大助力滿足大數(shù)據(jù)與業(yè)務(wù)分析需求。
制造商、物流公司、制藥企業(yè)以及能源巨頭之間擁有著一大共同點(diǎn)：他們都在利用超級計(jì)算設(shè)備突破研發(fā)領(lǐng)域的限制，并借此回答那些難于甚至根本不可能通過實(shí)踐方式獲得答案的問題。
各類組織目前正利用云服務(wù)與PC設(shè)備處理著過去需要借助超級計(jì)算機(jī)之力方能解決的任務(wù)。時(shí)至今日，云計(jì)算的快速發(fā)展已經(jīng)讓相當(dāng)一部分高性能計(jì)算工作轉(zhuǎn)而以云環(huán)境作為實(shí)現(xiàn)平臺，而此類產(chǎn)品、服務(wù)以及解決方案的供應(yīng)商們則進(jìn)一步將目標(biāo)指向了過去一直高度依賴于超級計(jì)算機(jī)的研究與科學(xué)領(lǐng)域。不過隨著云解決方案與超級計(jì)算機(jī)的不斷演進(jìn)，這兩類機(jī)制的使用態(tài)勢并不一定會相互排斥。目前已經(jīng)有一些企業(yè)開始同大學(xué)乃至國家級實(shí)驗(yàn)室合作，旨在訪問強(qiáng)大的處理資源—— 其中一部分企業(yè)甚至擁有了自己的超級計(jì)算機(jī)。
我們發(fā)現(xiàn)目前有很多企業(yè)在這方面有所行動(dòng)，開始在我們這里以并行方式處理高達(dá)上千萬億次的計(jì)算負(fù)載，”橡樹嶺國家實(shí)驗(yàn)室計(jì)算與計(jì)算科學(xué)副主任 Jeff Nichols在采訪當(dāng)中指出。當(dāng)下來自汽車行業(yè)、航空業(yè)、能源領(lǐng)域以及科學(xué)領(lǐng)域的諸多企業(yè)都希望與我們開展合作，從而解決其面臨的大規(guī)模科學(xué)問題。 橡樹嶺國家實(shí)驗(yàn)室以及計(jì)算科學(xué)合作署——后者為橡樹嶺與田納西大學(xué)聯(lián)合建立的聯(lián)合研究機(jī)構(gòu)——各自擁有一批國家級且具備領(lǐng)先水平的計(jì)算資源及多種架構(gòu)選項(xiàng)，能夠支持他們解決各種各樣規(guī)模化計(jì)算任務(wù)。泰坦”是橡樹嶺實(shí)驗(yàn)室目前最為龐大同時(shí)也是全球范圍內(nèi)性能排名第二的超級計(jì)算機(jī)。這是一臺克雷XK7設(shè)備，擁有2.7億億次每秒運(yùn)算能力，其采用29萬9008顆16核心AMD皓龍CPU、18688塊英偉達(dá)Tesla K20 GPU加速裝置外加710 TB整體系統(tǒng)內(nèi)存。
除了擁有極為強(qiáng)大的硬件基礎(chǔ)，計(jì)算科學(xué)合作署還針對軟件包及專有軟件進(jìn)行了優(yōu)化，因此能夠更為高效地在超級計(jì)算機(jī)或者云環(huán)境下實(shí)現(xiàn)運(yùn)行。再有，計(jì)算科學(xué)合作署還擁有二十位擁有物理、化學(xué)、計(jì)算科學(xué)以及其它領(lǐng)域博士學(xué)位，同時(shí)精通機(jī)器語言的技術(shù)人員。他們能夠幫助機(jī)構(gòu)用戶了解哪些任務(wù)能夠以計(jì)算方式實(shí)現(xiàn)。而且正因?yàn)樗麄兊目茖W(xué)家身份，其也有助于幫助各企業(yè)擁有享受到世界領(lǐng)先的技術(shù)成果。
當(dāng)大家開始使用計(jì)算機(jī)制時(shí)，首先需要明確問題本身并獲取更多計(jì)算資源。在這方面，不熟悉狀況的新人馬上就會碰壁，”計(jì)算科學(xué)合作署主任兼田納西大學(xué)理論與計(jì)算天體物理與天文學(xué)教授Tony Mezzacappa在接受采訪時(shí)強(qiáng)調(diào)稱。具備相關(guān)知識的用戶了解自己要如何將規(guī)模化計(jì)算任務(wù)分發(fā)到設(shè)備上的全部節(jié)點(diǎn)當(dāng)中，但他們最終還是會遇到其它難題。舉例來說，為了能夠在合理的時(shí)間周期內(nèi)完成任務(wù)處理，他們可能需要更多內(nèi)存或者使用更多計(jì)算資源。 下面我們就一起來看企業(yè)甚至是初創(chuàng)公司采用超級計(jì)算資源的六大出發(fā)點(diǎn)，包括IT組織為什么有理由考慮利用超級計(jì)算設(shè)備滿足其大數(shù)據(jù)與業(yè)務(wù)分析需求。
數(shù)據(jù)集在內(nèi)存中將如魚得水
如果一套數(shù)據(jù)集在體積方面太過龐大，又或者大家希望將多套大型數(shù)據(jù)集加以結(jié)合，那么這些數(shù)據(jù)往往將無法被塞進(jìn)內(nèi)存當(dāng)中。解決這一難題的方式之一是將其拆分成多個(gè)小型片段，再對各個(gè)片段進(jìn)行獨(dú)立分析。雖然對這些數(shù)據(jù)碎片進(jìn)行分析的具體途徑多種多樣，但也有很多分析措施只能在全部相關(guān)數(shù)據(jù)皆駐留在內(nèi)存中時(shí)方可實(shí)現(xiàn)——除此之外，這樣也能顯著縮短整個(gè)分析過程。再有，當(dāng)全部數(shù)據(jù)皆處于內(nèi)存中時(shí)，我們往往能夠提出更多類型的問題、擴(kuò)展發(fā)現(xiàn)范圍并找到更深層次的關(guān)聯(lián)性。
如果我想獲得關(guān)于某個(gè)問題的正確答案，我會將全部所需數(shù)據(jù)引入進(jìn)來，并加以全面查詢，這樣才能最大程度提升結(jié)論的可靠性，”計(jì)算科學(xué)合作署主任Tony Mezzacappa在一次采訪中解釋道。
一大典型實(shí)例就是識別欺詐性醫(yī)療索賠，因?yàn)檫@類狀況往往涉及大量數(shù)據(jù)。通過將所有數(shù)據(jù)導(dǎo)入內(nèi)存當(dāng)中，我們可能會發(fā)現(xiàn)某些情況孤立存在于某一案例中，這意味著其存在著屬于欺詐的潛在可能性，田納西大學(xué)研究與經(jīng)濟(jì)發(fā)展辦公室商業(yè)分析主任Ken Gilbert在一次采訪中表示。
計(jì)算能力極為強(qiáng)大
目前一部分走在全球前沿的企業(yè)正在利用超級計(jì)算機(jī)擴(kuò)展自身的計(jì)算能力。而且即使已經(jīng)擁有自己的超級計(jì)算設(shè)備，部分企業(yè)仍然會偶爾與高校或者國家級實(shí)驗(yàn)室合作，因?yàn)樗麄兿Ｍ麚碛懈訌?qiáng)大的計(jì)算能力或者資源集合，從而更加有效且高效地解決特定問題。
實(shí)驗(yàn)與產(chǎn)品開發(fā)工作廣泛存在而且需要投入大量時(shí)間，”計(jì)算科學(xué)合作署主任Tony Mezzacappa表示。在制藥行業(yè)當(dāng)中，超級計(jì)算方案在加快藥品開發(fā)速度與降低藥物開發(fā)成本方面扮演著重要角色。 飛機(jī)制造商則利用超級計(jì)算機(jī)來處理大量流體力學(xué)方面的計(jì)算問題。企業(yè)與市政機(jī)構(gòu)利用超級計(jì)算機(jī)提高交通流量執(zhí)行效率，而數(shù)據(jù)則由部署在街道上的傳感器所生成。企業(yè)能夠利用這些數(shù)據(jù)優(yōu)化車輛的先進(jìn)路線與交付時(shí)間，同時(shí)借此降低燃料成本與碳排放量。市政機(jī)構(gòu)則利用這些數(shù)據(jù)改善交通條件、改善災(zāi)害抵御能力并更加高效地執(zhí)行人員疏散策略。
互連機(jī)制可謂至關(guān)重要
與過去相比，企業(yè)如今能夠更加有效地利用自有資源以及云服務(wù)處理規(guī)模龐大的數(shù)據(jù)集合。不過考慮到各節(jié)點(diǎn)之間的互連速度因素，超級計(jì)算方案的實(shí)際效果往往更為出色。
不同的互連機(jī)制會對實(shí)際執(zhí)行時(shí)間造成巨大影響，”計(jì)算科學(xué)合作署主任Tony Mezzacappa表示。大家可能擁有一套龐大的集群，但有時(shí)候這套集群不一定能夠有效執(zhí)行規(guī)模龐大的計(jì)算任務(wù)。事實(shí)上，互連機(jī)制將成為左右并行計(jì)算設(shè)備實(shí)際效率的關(guān)鍵因素。 橡樹嶺實(shí)驗(yàn)室計(jì)算與計(jì)算科學(xué)實(shí)驗(yàn)室副主任Jeff Nichols認(rèn)為，從云服務(wù)與超級計(jì)算機(jī)之間作出選擇時(shí)，大家需要首先明確數(shù)據(jù)、數(shù)據(jù)移動(dòng)情況(也就是數(shù)據(jù)在處理器與存儲體系之間的往來狀況)、計(jì)算資源需求量以及所需節(jié)點(diǎn)數(shù)量等信息。
如果大家能夠在云環(huán)境下解決相關(guān)問題，那么云方案當(dāng)然是首選，”Nichols表示。不過很多因素也制約著大家利用云服務(wù)來處理工作負(fù)載，包括計(jì)算內(nèi)容的隱私屬性或者對導(dǎo)出控制能力的擔(dān)憂等。但只要排除了這些問題，云服務(wù)確實(shí)成本低廉而且往往也是最理想的備選資源供應(yīng)方式。
先進(jìn)的建模能力
從糖果加工到輪胎制造行業(yè)，眾多企業(yè)都在使用超級計(jì)算機(jī)，而計(jì)算科學(xué)合作署的科學(xué)家們則幫助這些用戶進(jìn)一步調(diào)整其建模能力。對于輪胎廠商而言，這意味著在各個(gè)階段的生產(chǎn)環(huán)節(jié)以及組件制造環(huán)節(jié)中，包括利用橡膠、聚合物以及其它原材料制作組件，引入建模機(jī)制。整個(gè)流程擁有非常復(fù)雜的層次結(jié)構(gòu)，與企業(yè)的經(jīng)營決策、輪胎產(chǎn)品生產(chǎn)、所制造輪胎的設(shè)計(jì)開發(fā)、輪胎安全性與可靠性以及具體銷售方式都緊密相關(guān)。不確定因素在流程當(dāng)中絕不允許存在，因?yàn)檩喬サ陌踩耘c可靠性直接決定著用戶的生命財(cái)產(chǎn)安全。
數(shù)據(jù)類型多種多樣，具體包括模擬數(shù)據(jù)以及根據(jù)這些數(shù)據(jù)匯總出的部分實(shí)驗(yàn)性信息得到的分析結(jié)果，”計(jì)算科學(xué)合作署主任Tony Mezzacappa指出。大家需要將實(shí)驗(yàn)性數(shù)據(jù)作為輸入信息導(dǎo)入模型當(dāng)中，而后這些模型將根據(jù)輪胎的實(shí)驗(yàn)性數(shù)據(jù)及模型生成進(jìn)一步輸出結(jié)果，告訴我們其將在特定情況下出現(xiàn)怎樣的變化。如此一來，大家就能夠圍繞模擬數(shù)據(jù)為核心、利用實(shí)驗(yàn)性信息發(fā)現(xiàn)所有可能存在的意外狀況，并以故意改變輸入及輸出結(jié)果的方式對不確定性因素加以量化，從而確定該如何更準(zhǔn)確地進(jìn)行模擬并由此引發(fā)的影響。最終的輪胎設(shè)計(jì)方案到底夠不夠安全?超級計(jì)算機(jī)會告訴我們答案。
擴(kuò)展可能性的疆域
對于那些不熟悉當(dāng)前超級計(jì)算機(jī)甚至是云服務(wù)能力的企業(yè)而言，他們可能根本無法理解計(jì)算能夠帶來怎樣令人驚嘆的成果。由于解決問題的能力受到嚴(yán)重局限，他們不可能意識到如今的計(jì)算資源已經(jīng)強(qiáng)大到如何超乎想象的程度，自然也就沒辦法找到問題的最佳解決辦法。
有時(shí)候，新手們可能不知道該從哪里入手或者首先提出什么樣的問題，所以我們會設(shè)計(jì)一套理解點(diǎn)，引導(dǎo)他們掌握自己要做什么、告訴用戶我們在做些什么、我們能夠提供哪些資源并具體解決哪些問題，包括那些能夠提出并得到解決的特定問題，”計(jì)算科學(xué)合作署主任Tony Mezzacappa表示。當(dāng)他們了解到可能性的具體范疇之后，眼界也會隨之開闊，因?yàn)闀r(shí)候他們原本認(rèn)為不可能的任務(wù)事實(shí)上非常可能甚至毫無難度。 當(dāng)某項(xiàng)難題超過了現(xiàn)有系統(tǒng)的計(jì)算能力時(shí)，企業(yè)用戶可以轉(zhuǎn)而向云服務(wù)供應(yīng)商或者計(jì)算科學(xué)合作署這樣的機(jī)構(gòu)尋求幫助，具體取決于他們的實(shí)際需求。那些熟稔計(jì)算科學(xué)的企業(yè)用戶往往會向計(jì)算科學(xué)合作署求助以獲取更多資源——包括計(jì)算資源、內(nèi)存或者二者皆有——或者能夠跨越多種不同系統(tǒng)以串連方式執(zhí)行的資源集合(例如共享內(nèi)存計(jì)算機(jī)或者分布式內(nèi)存計(jì)算機(jī))來執(zhí)行相應(yīng)工作流。
加快發(fā)現(xiàn)的腳步
規(guī)模龐大且歷史悠久的企業(yè)往往已經(jīng)擁有數(shù)十年的超級計(jì)算機(jī)使用經(jīng)歷，但一部分初創(chuàng)公司也同樣有著借助超級計(jì)算資源解決問題的愿望。舉例來說，Atomwise這家決心改變藥品發(fā)現(xiàn)及開發(fā)方式的初創(chuàng)企業(yè)就利用IBM的超級計(jì)算機(jī)對七千種藥品進(jìn)行檢測，希望從中找到治療埃博拉病毒的有效辦法。在經(jīng)過四個(gè)月的虛擬探索之后，他們成功發(fā)現(xiàn)了兩種有效性證據(jù)。目前計(jì)算科學(xué)合作署與橡樹嶺國家實(shí)驗(yàn)室已經(jīng)擁有大量初創(chuàng)企業(yè)用戶。
原文標(biāo)題：Supercomputers Unleash Big Data's Power
京公網(wǎng)安備 11010502049343號