IBM再造存儲(chǔ)，立足大數(shù)據(jù)，再度激起業(yè)界對(duì)于存儲(chǔ)的熱情。再次掀起對(duì)軟件定義存儲(chǔ)的思考。今天，IBM主辦的“ROCK EDGE CHINA 2014——為大數(shù)據(jù)時(shí)代再造存儲(chǔ)搖滾盛典”在北京的萬(wàn)達(dá)索菲特酒店拉開帷幕。
對(duì)于IBM存儲(chǔ)系統(tǒng)，東方地球物理勘探有限責(zé)任公司研究院總工程師賴能和可以說是深有體會(huì)。作為IBM超過30年的老客戶，賴能和在本次大會(huì)上與大家分享了他利用IBM彈性存儲(chǔ)的經(jīng)驗(yàn)和心得體會(huì)。
▲東方地球物理勘探有限責(zé)任公司研究院總工程師賴能和
賴能和介紹說，他來自中石油，主要負(fù)責(zé)領(lǐng)域包括油氣勘探，數(shù)據(jù)處理、解釋。中石油公司還有一些裝備、信息化建設(shè)，在全球經(jīng)營(yíng)，在國(guó)外有30多個(gè)國(guó)家都有中石油的機(jī)構(gòu)。目前，公司擁有10萬(wàn)臺(tái)CPU，高端服務(wù)器，另外存儲(chǔ)有35個(gè)PB。
他認(rèn)為，軟件定義存儲(chǔ)為大數(shù)據(jù)提供了彈性數(shù)據(jù)空間。這個(gè)題目有三個(gè)新的東西在里面，軟件定義SDS、大數(shù)據(jù)、彈性存儲(chǔ)空間。他通過三個(gè)問題引出了對(duì)軟件定義存儲(chǔ)的討論：
第一，為什么現(xiàn)在油氣勘探會(huì)進(jìn)入大數(shù)據(jù)時(shí)代?
第二，大數(shù)據(jù)時(shí)代給IT行業(yè)帶來哪些機(jī)會(huì)和挑戰(zhàn)?
第三，對(duì)這些機(jī)遇和挑戰(zhàn)我們?cè)趺磥斫鉀Q?
賴能和表示，首先，我們?yōu)槭裁凑f油氣勘探進(jìn)入大數(shù)據(jù)時(shí)代。主要有兩個(gè)原因，一個(gè)是高性能計(jì)算機(jī)的發(fā)展，促進(jìn)了油氣勘探技術(shù)的進(jìn)步。這張圖非常復(fù)雜，可以講一上午，為什么?實(shí)際上現(xiàn)在我們做油氣勘探干什么，大家都知道，我們就是給地球的近地表做CT。過去只能做一些黑白的，現(xiàn)在有彩色的，很多技術(shù)70年代就有了，隨著計(jì)算機(jī)的發(fā)展，才使得我們有一些70年代的技術(shù)，比如波動(dòng)方程這方面空間化的應(yīng)用成為可能。
第二，我們剛才說到做CT，采樣點(diǎn)多了以后，搞油氣勘探，把采樣點(diǎn)加密以后，對(duì)我們數(shù)據(jù)成像提高非常多。我們做了兩張片子，地下看的很清楚，右面看的很清楚，左邊看不清楚，左右兩邊成本差很多，數(shù)據(jù)會(huì)增加很大很大。現(xiàn)在這種高密度采集已經(jīng)成為油氣勘探整個(gè)趨勢(shì)，地質(zhì)勘探已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代，數(shù)據(jù)會(huì)越來越大。
我這里舉幾個(gè)例子，這是國(guó)外的兩個(gè)區(qū)塊，一個(gè)文件500個(gè)T，很多都是超過500個(gè)T的數(shù)據(jù)，非常大。國(guó)內(nèi)現(xiàn)在是50個(gè)T，30個(gè)T以上的數(shù)據(jù)很多很多了，很快要處理完，那么大的數(shù)據(jù)怎么做。那么大數(shù)據(jù)對(duì)我們計(jì)算機(jī)這一個(gè)行當(dāng)，無(wú)論是HPC還是存儲(chǔ)帶來什么機(jī)遇和挑戰(zhàn)，機(jī)遇就是要求越來越多的CPU要求越來越多的存儲(chǔ)，是不是買一些普通存儲(chǔ)就行呢?不行。買普通存儲(chǔ)解決不了大數(shù)據(jù)問題，對(duì)HPC有帶來非常大的挑戰(zhàn)。一個(gè)是配置要求非常高，都是高端服務(wù)器，第二就是存儲(chǔ)很大，每套系統(tǒng)都要配幾千個(gè)T的存儲(chǔ)才能解決問題。實(shí)際上存儲(chǔ)IO是一個(gè)非常大的瓶頸問題，如何提高集群的利用率，解決存儲(chǔ)和CPU之間的瓶頸，這是我們目前最主要的問題。左邊的例子可以看到，CPU的利用率大概40恩%左右，已經(jīng)很高了，因?yàn)槲覀?65天一直在開著機(jī)器，利用率才達(dá)到百分之四、五十左右。很多CPU的利用率發(fā)掘不出來。
還有一個(gè)問題就是能耗，我們有很多數(shù)據(jù)中心，這是其中某一個(gè)數(shù)據(jù)中心，需要的電費(fèi)兩、三千萬(wàn)，怎么降下來，如果用普通的技術(shù)肯定不行，比如說閃存技術(shù)將來就會(huì)對(duì)我們有非常大的幫助。那么大的數(shù)據(jù)怎么解決，我們有幾個(gè)體會(huì)。第一，對(duì)這種I/O密集型的運(yùn)算，我們配置了高性能的并行處理系統(tǒng)，加上海量的數(shù)據(jù)處理閃存系統(tǒng)。對(duì)于大數(shù)據(jù)，文件是幾百個(gè)T，解方程，求解的話，用普通存儲(chǔ)陣列是不行的。這里有156個(gè)億的記錄，用普通的盤陣要18天才能做完，用閃存3天就做完了，提升了6倍。這只是其中某一小部分，我們還有很多步驟，通過這種技術(shù)我們很快的解決了這個(gè)問題，也就是Flash存儲(chǔ)。
海量數(shù)據(jù)需要并發(fā)處理，還不是并行處理。我們買存儲(chǔ)，買小存儲(chǔ)便宜，不行的。這里有一個(gè)例子，最右邊，我們同時(shí)送100個(gè)任務(wù)上去，用普通存儲(chǔ)和用彈性存儲(chǔ)速度差好幾倍。用高性能并發(fā)I/O的彈性存儲(chǔ)能夠很好的解決并發(fā)問題。
對(duì)海量數(shù)據(jù)的交互處理，我們有很多數(shù)據(jù)庫(kù)操作，用普通存儲(chǔ)很難解決。可以看到這里有一個(gè)例子，目前我們采用的是IBM彈性存儲(chǔ)，目前達(dá)到了7個(gè)PB。通過這幾年的應(yīng)用，7種性能是非常穩(wěn)定的，持續(xù)的I/O并發(fā)也非常高。加速模塊Flash現(xiàn)在是810，峰值達(dá)到20個(gè)GB左右，消除了我們過去數(shù)據(jù)瓶頸的問題，滿足了海量并發(fā)處理的要求。彈性存儲(chǔ)加上Flash加速模塊以后很好的解決了交互的問題，這里有兩個(gè)數(shù)據(jù)，如果不加加速卡的話，300多秒打一個(gè)命令才能反應(yīng)，加了加速卡20多秒就能反應(yīng)過來。所以性能提高還是非常快的，因?yàn)槲覀円惶紫到y(tǒng)是有幾百人同時(shí)用，這樣如果沒有很好的加速大家做起來是很煩的。
我們把數(shù)據(jù)庫(kù)原數(shù)據(jù)放在Flash盤上去，能夠很好的提升我們的I/O性能，這里我們也做了一個(gè)實(shí)驗(yàn)，用IBM的彈性存儲(chǔ)，我們的數(shù)據(jù)庫(kù)用的是甲骨文，能夠提升14000倍左右。用普通的存儲(chǔ)肯定是不行的。
在演講的最后，賴能和用四句話概括今天的發(fā)言：
1.地震勘探已進(jìn)入高密度采集、大數(shù)據(jù)的時(shí)代，我們需要很大規(guī)模的計(jì)算機(jī)。一般企業(yè)很多滿足不了，我們有國(guó)家的測(cè)試中心。
2.海量數(shù)據(jù)處理，我們還是需要高性能、大容量、低功耗、可擴(kuò)展性的并行存儲(chǔ)，靠普通的存儲(chǔ)很難解決海量數(shù)據(jù)，另外就是功耗問題。
3.閃存技術(shù)的應(yīng)用，目前效果還是非常明顯的，解決了很多用普通的HDD很難解決的疑難問題。
4.彈性存儲(chǔ)比如說像IBM的SOSS+FlashS810，架構(gòu)很靈活，非常的簡(jiǎn)單，性價(jià)比也是非常好的。而且可以根據(jù)需要，隨時(shí)進(jìn)行橫向擴(kuò)展，而且它的擴(kuò)展我們做過對(duì)比，性能是線性增加的。這是從它的可靠性、可擴(kuò)展性完全能夠滿足我們海量數(shù)據(jù)的并行處理。
目前來說這種系統(tǒng)我們主要是用在海量數(shù)據(jù)的處理系統(tǒng)上，下一步我們會(huì)把處理、解釋、油氣開發(fā)都做進(jìn)去，因?yàn)槲覀冇泻芏鄶?shù)據(jù)中心，不同區(qū)域的云計(jì)算平臺(tái)把它整合在一起，通過彈性存儲(chǔ)的空間整合成一個(gè)。
京公網(wǎng)安備 11010502049343號(hào)