精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當(dāng)前位置:存儲行業(yè)動態(tài) → 正文

一文看盡AI芯片兩類瓶頸三大趨勢,存儲技術(shù)開拓新疆界

責(zé)任編輯:zsheng |來源:企業(yè)網(wǎng)D1Net  2018-12-11 16:45:09 本文摘自:機器之心

AI和5G技術(shù)加速了數(shù)字化轉(zhuǎn)型,隨著“新”數(shù)據(jù)形態(tài)、“新”部署環(huán)境、“新”應(yīng)用模式及“新”價值需求的涌現(xiàn),對數(shù)據(jù)存儲帶來了新的挑戰(zhàn),也就意味著存儲需要管理的數(shù)據(jù)更多了、更寬了、更復(fù)雜了。在2018中國存儲與數(shù)據(jù)峰會中,浪潮存儲研發(fā)總監(jiān)李輝帶來了《新數(shù)據(jù)時代,新存儲之道》的主題演講。

李輝認為,大數(shù)據(jù)、AI、云是應(yīng)對以上四個變化常用的技術(shù)手段,他總結(jié)為7個“V”,分別是:“Virtualization、Value、Variety、Veracity、Velocity、Volume和Visibility。

實際上今天的云有了新的挑戰(zhàn)和壓力,如何去支撐更大規(guī)模的數(shù)據(jù)中心和更徹底的虛擬化和云化;在大數(shù)據(jù)方面,如何獲取更有價值的數(shù)據(jù);AI預(yù)測是不是真的準(zhǔn)確等等。

對此,浪潮給出的解決方案是采用集群的方式搭建一個AI集群,基于浪潮服務(wù)器硬件平臺,用一套分布式存儲的軟件來提供文件對接大數(shù)據(jù)。為未來超大規(guī)模數(shù)據(jù)中心打造一套超大規(guī)模的分布式存儲系統(tǒng)。

同時,李輝表示,浪潮的場景化定制是較為獨特的服務(wù)理念,浪潮提供一個觀點,即研發(fā)就是服務(wù),通過給客戶面向未來整個數(shù)字化的轉(zhuǎn)型,云化數(shù)據(jù)中心的建設(shè),對EB級數(shù)據(jù)的處理來定向開發(fā)定制戰(zhàn)略合作,這是浪潮的新存儲之道。

以下為演講全文:

各位尊敬的來賓,我是來自浪潮的李輝,跟鄭信武先生也認識了很多年,參加這個會也參加了很多年,但今天是第一次登臺演講,在主會場來跟大家作交流和分享。也非常感謝DOIT和鄭信武先生的邀請,來參加這次盛會,也預(yù)祝這次大會能夠圓滿的成功。也非常希望像鄭信武先生講的,在未來數(shù)據(jù)產(chǎn)業(yè)和存儲產(chǎn)業(yè)上,DOIT能夠組織更多的交流平臺,來促進咱們中國存儲產(chǎn)業(yè)超越式的發(fā)展。

說起浪潮,大家可能都了解浪潮的服務(wù)器,浪潮的服務(wù)器現(xiàn)在是全球第三,國內(nèi)一直是第一。但現(xiàn)在浪潮是一家基于云+數(shù),為廣大政府用戶和企業(yè)用戶提供云服務(wù)的公司。同時浪潮也是為我們的用戶提供全面的云化基礎(chǔ)設(shè)施,不僅有服務(wù)器,還有存儲、網(wǎng)絡(luò)、云平臺等產(chǎn)品。

所以今天跟大家交流和分享的內(nèi)容是浪潮在存儲這方面創(chuàng)新,因為今天的主題是2018中國存儲和數(shù)據(jù)峰會,其實我今天的內(nèi)容也是這兩個基本點,一個是存儲,一個是數(shù)據(jù),只不過是這兩個點的順序反了過來。想先跟大家交流一下數(shù)據(jù)的情況,然后再跟大家交流浪潮如何應(yīng)對新技術(shù)帶來的變化,怎么運用新的存儲解決之道幫助用戶應(yīng)對這些新的挑戰(zhàn),充分釋放這些數(shù)據(jù)的價值。

剛才李博士從應(yīng)用的角度講了工業(yè)互聯(lián)網(wǎng),我們今天講的這些是存儲系統(tǒng)層面的內(nèi)容。首先我們想看一下,其實現(xiàn)在大家都在講一個事情就是數(shù)字化轉(zhuǎn)型,這是一個非常熱的話題,無論是我們現(xiàn)在的各種各樣的應(yīng)用,我們一些非常好聽的名字,比如說智慧地球、智慧城市、智慧企業(yè)、智慧教育、智慧醫(yī)療、城市大腦、工業(yè)大腦、企業(yè)大腦,事實上都是數(shù)字化轉(zhuǎn)型。

其實我們在數(shù)字化轉(zhuǎn)型過程中,一個基本的架構(gòu)、基本的原理是說我們想從這個物理世界里得到更多的數(shù)據(jù),拿到我們所謂的數(shù)字世界里,通過這個數(shù)字世界的加工和處理,再回到這個物理世界,能夠給這個物理世界帶來更好的結(jié)果、更好的產(chǎn)品,使之更好的服務(wù)。

比如說DOIT做易會實際上也是這樣,所有參會的人信息在DOIT,通過這樣的一些信息和數(shù)據(jù)來組織更好的會務(wù)服務(wù),其實這也是數(shù)字化轉(zhuǎn)型。在數(shù)字化轉(zhuǎn)型當(dāng)中,一個很核心的是我們要有更多的數(shù)據(jù)進入到我們的數(shù)字世界,在未來我們會看到有兩個核心的技術(shù),一個是5G,一個是AI,將會加速數(shù)字化的轉(zhuǎn)型。5G理論上的性能會比4G提高1000倍,實際的一些POC測試的性能提高了10倍,將會把更多的IOT設(shè)備推到了網(wǎng)絡(luò)上,來幫助我們采集數(shù)據(jù)。而AI現(xiàn)在剛才大家都在提AI非常熱,AI會讓我們有更強的能力來去做更多的、更深入的一些數(shù)據(jù)的或者是一些智慧的應(yīng)用,這兩個技術(shù)會加速數(shù)字化的轉(zhuǎn)型。

那這兩個技術(shù)加速數(shù)字化的轉(zhuǎn)型會帶給我們什么?會在數(shù)據(jù)方面產(chǎn)生一些什么樣的變化?主要是有四個方面的變化,第一個,數(shù)據(jù)會具備新的形態(tài)。我們老說海量數(shù)據(jù)、大數(shù)據(jù),可能今天我們才真正體會到我們現(xiàn)在面對的是海量的數(shù)據(jù),我們面對的是大數(shù)據(jù)。因為今天我們看我們的數(shù)據(jù)來源,有內(nèi)部數(shù)據(jù),有外部數(shù)據(jù)。比如從外面通過授權(quán)得到的數(shù)據(jù),比如去采購或者是去采集的一些數(shù)據(jù)。從這種數(shù)據(jù)的生產(chǎn)者的角度上講,過去我們靠敲鍵盤,我們大家都是鍵盤俠做了很多數(shù)據(jù)。后來我們借助一些設(shè)備來采集數(shù)據(jù),從現(xiàn)實世界里采集數(shù)據(jù),無論是智能家居還是智能交通,還是智能的工業(yè)互聯(lián)網(wǎng),越來越多的設(shè)備在幫助我們采集數(shù)據(jù)。

有了AI之后,有了大數(shù)據(jù)和AI之后,實際上數(shù)據(jù)也在產(chǎn)生數(shù)據(jù),尤其是一些大數(shù)據(jù)的挖掘過程中和AI的訓(xùn)練和推理過程中,都會有相當(dāng)多的次生數(shù)據(jù),這些數(shù)據(jù)加在一起就構(gòu)成了我們手里的大數(shù)據(jù)。其實這些數(shù)據(jù)在我們的處理上也不一樣,有的是要快,有的是要海量的批處理,有的是又要快又要海量的批處理,它的處理形態(tài)也不一樣。這些對我們的一個挑戰(zhàn)是什么?就意味著我們在存儲的角度,管的數(shù)據(jù)更多了、更寬了、更復(fù)雜了,這是一個新數(shù)據(jù)形態(tài)。

第二,我們看到新的部署環(huán)境,我們之前只做關(guān)鍵計算,現(xiàn)在又有了智慧計算、科學(xué)計算、網(wǎng)格計算,現(xiàn)在又有了智能的計算、邊緣計算。我們用各種各樣的計算手段,而且現(xiàn)在我們用新的一些基礎(chǔ)設(shè)施的手段,來部署我們數(shù)據(jù)處理的一些環(huán)境。比如說現(xiàn)在我們從公有云,公有云發(fā)展了十幾年,現(xiàn)在公有云又要進入企業(yè)云。我們自己的數(shù)據(jù)中心怎么去真正的變成云化,我們自己真正的數(shù)據(jù)中心的云化,我們還沒有云化完的時候,新的又來了。那我們就會發(fā)現(xiàn),我們想把一些低延遲、高頻的,甚至是一些邏輯回路比較短的應(yīng)用,我們會想放到Edge上,我們把數(shù)據(jù)量不大的,容易遠程上云的放到公有云上,或者短期沒有那么多設(shè)備,一個短周期的,一個高計算力需求的應(yīng)用我們放到云上去。

一個高計算率需求的應(yīng)用放到云上去,或者把一些數(shù)據(jù)備份,有一些容災(zāi)的東西放到云上去,但是最終在我們自己手里邊,我們的數(shù)據(jù)型的、效率型的和安全性的應(yīng)用,其實還是在我們自己的數(shù)據(jù)中心里,也就是數(shù)字化轉(zhuǎn)型,其實是以我為本的,以我們自己的數(shù)據(jù)中心為本的數(shù)字化的轉(zhuǎn)型,這是第二個變化。

第三個變化,我們看應(yīng)用模式的變化,其實數(shù)字化轉(zhuǎn)型最核心的一個目標(biāo)是無,最主要的一個手段是去,我們想通過數(shù)字化轉(zhuǎn)型,用我們智能的手段,智慧化的應(yīng)用,比如在我們政府辦公里面變成無接觸的處理,坐在家里在手機上就可以把所有的政務(wù)處理解決完,或者可以無紙化的辦公,或者現(xiàn)在咱們的鐵路也在準(zhǔn)備無紙化的,沒有票,包括我們的工廠的無人值守和汽車的無人駕駛,這些都是一些新的應(yīng)用模式,這些新的應(yīng)用模式對我們的變化是我們需要更多的數(shù)據(jù),我們需要好的形態(tài)和好的工具來處理,來支撐我們的新的應(yīng)用模式。

第四個方面的變化,新的價值的需求,我們一些智能化的應(yīng)用,我們通過收集數(shù)據(jù)和大數(shù)據(jù)智能的應(yīng)用來處理和加工,得到一個非常有價值的結(jié)果,幫助我們來做預(yù)測,幫助我們來做決策,幫助我們來提升生活水平,幫助我們來提升我們的政府的管理水平,這里還有一個所謂的價值需求,我們一定要有價值的數(shù)據(jù),我們的有價值的數(shù)據(jù)從哪里來?我們會千方百計絞盡腦汁的找數(shù)據(jù),其實我們這些數(shù)據(jù)就在我們的身邊和我們實際的企業(yè)的運營過程里,就我們在每天用我們數(shù)字化的設(shè)備和手段處理的過程里,也就是我們的過程的數(shù)據(jù),其實我們在手機上和電腦上,我們在哪里處理的?這些過程的數(shù)據(jù)我們過去認為不太重要,歸檔都不會,檔案都不會有,現(xiàn)在我們可能會有了檔案,有些檔案我們可能會放一兩年,就把數(shù)據(jù)丟棄了。

當(dāng)我們今天智能化的應(yīng)用普及的時候,我們會發(fā)現(xiàn)過程的數(shù)據(jù)非常重要,比如我們有一個所謂的英語學(xué)習(xí)軟件,為了打造一個適應(yīng)咱們中國人的AI的英語教師,他在有定向的收集我們整個通過手機傳輸?shù)骄W(wǎng)上的英語的發(fā)音,他收集了4500萬人,大約10億分鐘的英語語音,通過智能的手段去訓(xùn)練,去識別,最后訓(xùn)練出一個最適合國人的AI英語教師,可能會比教師教得更好,因為會理解背后的語境文化和邏輯思維,而不是英語語言的東西,這是過程數(shù)據(jù)的價值。

電商過程數(shù)據(jù)的價值,和所有的過程數(shù)據(jù)價值對我們來說都非常重要,所以在數(shù)字化應(yīng)用的第四個變化是,我們要追求有價值的數(shù)據(jù),我們有價值的數(shù)據(jù)就在我們身邊,是有價值的過程數(shù)據(jù)。

這四個數(shù)據(jù)變化,新數(shù)據(jù)形態(tài)和新的部署環(huán)境,我們新的智能化的應(yīng)用模式,和新的價值需求,尤其要挖掘我們的過程數(shù)據(jù)的價值的需求,組成了我們在我們看來所謂新的數(shù)據(jù)時代,它真的和過去我們處理數(shù)據(jù)不一樣了,我們的數(shù)據(jù)可能對于每個人來講,照片用的時候才會找,但是對于一個企業(yè)和組織來講是無時無刻不需要數(shù)據(jù)的,我們的數(shù)據(jù)的種類會更多,我們的數(shù)據(jù)部署環(huán)境更復(fù)雜,我們的應(yīng)用模式更加的智能。

在這種情況下,我們存儲會有什么樣的挑戰(zhàn)?這四個變化對應(yīng)我們現(xiàn)在常用的IT的技術(shù)手段,主要的就是三個,我們認為是大數(shù)據(jù)、AI、云,從這上來看數(shù)據(jù)處理需要解決什么,我們總結(jié)了7個V,比如Value等等。實際上今天我們云有新的挑戰(zhàn)和壓力,怎么支撐更大規(guī)模的數(shù)據(jù)中心和更徹底的虛擬化和云化?在大數(shù)據(jù)方面,我們怎么能夠有更有價值的數(shù)據(jù)到達我們的手里,進入我們的應(yīng)用,比如我們在數(shù)據(jù)精度上的追求,數(shù)據(jù)速率上的追求和數(shù)據(jù)生命周期時長的追求和要求,都會是我們的挑戰(zhàn),AI上最大的挑戰(zhàn)是會不會幫助我們,AI的預(yù)測是不是真的準(zhǔn)確,AI的決策是不是真的會對我們最有用的決策,這是我們在存儲上碰到的挑戰(zhàn)。

有數(shù)據(jù)統(tǒng)計現(xiàn)在70%的服務(wù)器在超大數(shù)據(jù)中心和企業(yè)的中大型數(shù)據(jù)中心里,而且在未來三五年還會更多,越來越多,我們企業(yè)的數(shù)據(jù)中心會從幾十臺幾百臺的服務(wù)器變得越來越多,越來越大的數(shù)據(jù)中心的規(guī)模,在這樣一個數(shù)據(jù)中心里,我們的數(shù)據(jù)接入集群和數(shù)據(jù)處理和應(yīng)用的集群規(guī)模都非常大,我們會用虛擬化的手段跑各種各樣的應(yīng)用,畢竟我們需要敏捷的處理,在這樣的虛擬化情況下,時間樣的存儲可以支撐上萬臺的虛擬機的物理化和十萬臺虛擬機的運行,這是我們碰到的挑戰(zhàn)。

第二個挑戰(zhàn)是大數(shù)據(jù),我們需要精度,比如我們在無人駕駛導(dǎo)航上,我們還是米級的導(dǎo)航,我們一個無人駕駛汽車在開的時候,安全肯定保證不了,因為汽車每秒鐘就會跑上三到五十米,精度要到厘米級。

在宏觀領(lǐng)域,科學(xué)研究上,在勘探、偵測、檢測上,其實我們在微觀的領(lǐng)域,我們是到了納米級,對人腦的研究要到納米級,第二,速率上,設(shè)備和儀器有無線電、光學(xué)和其他的,比如光學(xué)設(shè)備上,過去的視頻監(jiān)控常說1秒鐘15禎,現(xiàn)在一些光學(xué)設(shè)備1秒鐘30禎,在時長上,現(xiàn)在在醫(yī)院里為了讓大家的生命更健康,為了讓我們每個人的壽命更長,我們的醫(yī)院會把我們的病例數(shù)據(jù)和各種的過去治療的數(shù)據(jù)存十五年以上,而現(xiàn)在為了一些安全的需要,過去30天的數(shù)據(jù)現(xiàn)在拉長到60天和90天,這些精度的速率的和數(shù)據(jù)生命周期上的要求,會把我們手里的數(shù)據(jù)放大至少一個數(shù)量級,過去可能我們覺得是幾十個PB,但是未來我們可以預(yù)見的是我們的一些大型數(shù)據(jù)中心里面的數(shù)據(jù)很容易到EB級,現(xiàn)在一些用戶在兩地三中心的追求下,需要在每一個數(shù)據(jù)中心里至少支撐一百個PB的數(shù)據(jù),很容易到EB級,這是我們存儲的第二個挑戰(zhàn)。

存儲的第三個挑戰(zhàn),是AI,其實AI我們要拿到很多原始的數(shù)據(jù)進行標(biāo)記,進行處理,處理成小文件,從視頻里拿出數(shù)據(jù),從圖片里拿出數(shù)據(jù),語音里拿出數(shù)據(jù),文本里拿出來,我們會拿出很多小文件,現(xiàn)在一個大型的AI,真正預(yù)測能力非常準(zhǔn)確的,高預(yù)測率準(zhǔn)確的,有可能它的小文件會達到萬億的級別,現(xiàn)在我們AI的算法和算例,我們的模型其實現(xiàn)在并不是那么的優(yōu)化,我們需要短時間足夠的訓(xùn)練,才能訓(xùn)練出好的模型。

今年浪潮我們通常會用集群的方式搭建一個AI的集群,比如浪潮今年發(fā)布的16個節(jié)GPU節(jié)點的服務(wù)器,我們可能需要16臺搭一個256節(jié)點,每個GPU需要五個容器,每秒鐘每個容器要三千到五千個OPS,給一個GPU輸送數(shù)據(jù),算下來,我們一個16個節(jié)點的GPU服務(wù)器,我們就會有384萬臺OPS,也就是性能上我們會有一個非常大的挑戰(zhàn)。這樣的一些挑戰(zhàn),在存儲上怎么解決,企事業(yè)就是過去的SCIE或者集群存儲等傳統(tǒng)的架構(gòu)已經(jīng)不能解決問題,我們應(yīng)該向互聯(lián)網(wǎng)學(xué)習(xí),面向未來,去看我們這種分布式和我們這種超大規(guī)模分布式架構(gòu)下我們怎么實現(xiàn)一個超大規(guī)模的存儲,在這個超大規(guī)模的存儲上,我們支持上萬臺的物理機和三段式的架構(gòu),我們支持云、大數(shù)據(jù)、人工智能的應(yīng)用。

在容量上,性能上我們可以做到EB級,EGLPS,以及管理上可以做到AIOPS,現(xiàn)在數(shù)據(jù)中心越來越需要AIOPS來解決問題,谷歌數(shù)據(jù)中心用了AI的手段以后,能耗可以降低40%,這是新的存儲解決之道。

浪潮基于我們服務(wù)器的硬件平臺,我們在服務(wù)器的硬件平臺上用一套分布式的存儲的軟件來提供文件對接大數(shù)據(jù),聽上去沒有太多的變化,但這確實是我們?yōu)槲磥淼某笠?guī)模數(shù)據(jù)中心在打造的一套超大規(guī)模的分布式存儲系統(tǒng),我們的單節(jié)點的能力,剛才劉鋼也講了PB級的容量,10GB的帶寬甚至10萬的LPS,最大的擴容性可以做到5200個節(jié)點,通過超大規(guī)模的擴展來最終提供我們需要的容量和最終提供我們的性能,在這里面,比如小文件上,我們可以達到一千億的處理能力,而且我們在AI大數(shù)據(jù)上我們需要數(shù)據(jù)的流動,我們真的需要數(shù)據(jù)的流動嗎?我們真的要復(fù)制和遷移數(shù)據(jù)嗎?我相信大家都不想做這個事情,TB級就夠難受了,PB就不用說了,到了EB級我們認為還是在那里吧,這個時候我們就需要一些文件的0拷貝技術(shù),在原數(shù)據(jù)上,我們怎么做一些工作,能夠讓我們的數(shù)據(jù)通過不同的NF形式或者Hudp為不同的應(yīng)用共享同一份數(shù)據(jù)而免去數(shù)據(jù)遷移和拷貝,以及openstack,我們怎么有更好的能力支持它,支持國內(nèi)的用戶,國內(nèi)的用戶沒有國外得那么幸福,國內(nèi)的用戶我們更多得用openstack做云化中心和支持能力。

我認為浪潮有一點最獨特,就是場景化的定制,我們提倡一個觀點,研發(fā)就是服務(wù),通過給我們的用戶面向未來整個數(shù)字化的轉(zhuǎn)型,云化數(shù)據(jù)中心的建設(shè),對EB級數(shù)據(jù)的處理來定向開發(fā)定制開發(fā)戰(zhàn)略合作,這是我們浪潮的新存儲之道。

浪潮新存儲有了一些實踐,有一個高清圖片,有一個用戶選擇了大于350個節(jié)點,在他的數(shù)據(jù)中心里用了65個節(jié)點做所有虛擬機的鏡像化文件,用250個節(jié)點70個BP存儲他高清的圖片,用了30個節(jié)點在內(nèi)部的協(xié)同辦公來用對象做了他的網(wǎng)盤,通過這樣的一個超大規(guī)模分布式存儲的架構(gòu),我們的這個用戶當(dāng)然在這種對比傳統(tǒng)存儲降低了50%的采購成本,對于他的整個數(shù)據(jù)的作業(yè),他有十個作業(yè)段,他降低了60%的作業(yè)時間,然后他在用戶的規(guī)模擴大一百倍情況下,用戶的服務(wù)的時間SLA從分鐘級降到了秒級,這是我們給超大規(guī)模的用戶所創(chuàng)造的一個價值,當(dāng)然在這里面我們一套的架構(gòu)和小文件上的優(yōu)化,我們在數(shù)據(jù)的免遷移和免拷貝上所做得一些特性,確實幫到了他最終整個超大規(guī)模的應(yīng)用。

我們另一個超大規(guī)模的應(yīng)用,是在融合媒體領(lǐng)域,我們的融合媒體用戶也要在全國建兩地三中心,把他全部的應(yīng)用,無論是關(guān)鍵的還是不關(guān)鍵的全部上云,在他的每個數(shù)據(jù)中心里現(xiàn)在都是千級服務(wù)器,一千臺以上的服務(wù)器,來支撐他大約接近100個業(yè)務(wù)應(yīng)用,最終這個用戶選擇了我們大約一百多個節(jié)點,10PB空間,其中我們有40個節(jié)點,已經(jīng)在支撐他的500臺物理機虛擬化,每臺物理機上跑了五個虛擬機,最終每個數(shù)據(jù)中心至少要一千臺物理機,每個物理機上十個虛擬機,一萬個虛擬機的規(guī)模。這樣通過超大規(guī)模的分布式存儲,我們這位用戶可以在他所有的全國數(shù)據(jù)中心里用一套的工具和一套的知識管理云化數(shù)據(jù)中心基礎(chǔ)設(shè)施中存儲的一部分,從他的運維上都得到了很高的價值,這是我們又一個新存儲的實踐。

這是我跟各位匯報的所有的內(nèi)容,占用了大家稍微多的一點時間,也非常感謝大家聆聽我的分享,希望在未來能夠跟中國存儲的產(chǎn)業(yè)界所有的同行能夠一起合作,能夠跟所有的用戶一起合作,能夠為浪潮的新存儲面向未來,為所有的中國用戶云化數(shù)據(jù)中心提供更多的價值,帶來更多的幫助,讓我們充分享受我們的AI,充分享受我們的5G和智能化的未來,謝謝各位。

關(guān)鍵字:存儲技術(shù)趨勢芯片

本文摘自:機器之心

x 一文看盡AI芯片兩類瓶頸三大趨勢,存儲技術(shù)開拓新疆界 掃一掃
分享本文到朋友圈
當(dāng)前位置:存儲行業(yè)動態(tài) → 正文

一文看盡AI芯片兩類瓶頸三大趨勢,存儲技術(shù)開拓新疆界

責(zé)任編輯:zsheng |來源:企業(yè)網(wǎng)D1Net  2018-12-11 16:45:09 本文摘自:機器之心

AI和5G技術(shù)加速了數(shù)字化轉(zhuǎn)型,隨著“新”數(shù)據(jù)形態(tài)、“新”部署環(huán)境、“新”應(yīng)用模式及“新”價值需求的涌現(xiàn),對數(shù)據(jù)存儲帶來了新的挑戰(zhàn),也就意味著存儲需要管理的數(shù)據(jù)更多了、更寬了、更復(fù)雜了。在2018中國存儲與數(shù)據(jù)峰會中,浪潮存儲研發(fā)總監(jiān)李輝帶來了《新數(shù)據(jù)時代,新存儲之道》的主題演講。

李輝認為,大數(shù)據(jù)、AI、云是應(yīng)對以上四個變化常用的技術(shù)手段,他總結(jié)為7個“V”,分別是:“Virtualization、Value、Variety、Veracity、Velocity、Volume和Visibility。

實際上今天的云有了新的挑戰(zhàn)和壓力,如何去支撐更大規(guī)模的數(shù)據(jù)中心和更徹底的虛擬化和云化;在大數(shù)據(jù)方面,如何獲取更有價值的數(shù)據(jù);AI預(yù)測是不是真的準(zhǔn)確等等。

對此,浪潮給出的解決方案是采用集群的方式搭建一個AI集群,基于浪潮服務(wù)器硬件平臺,用一套分布式存儲的軟件來提供文件對接大數(shù)據(jù)。為未來超大規(guī)模數(shù)據(jù)中心打造一套超大規(guī)模的分布式存儲系統(tǒng)。

同時,李輝表示,浪潮的場景化定制是較為獨特的服務(wù)理念,浪潮提供一個觀點,即研發(fā)就是服務(wù),通過給客戶面向未來整個數(shù)字化的轉(zhuǎn)型,云化數(shù)據(jù)中心的建設(shè),對EB級數(shù)據(jù)的處理來定向開發(fā)定制戰(zhàn)略合作,這是浪潮的新存儲之道。

以下為演講全文:

各位尊敬的來賓,我是來自浪潮的李輝,跟鄭信武先生也認識了很多年,參加這個會也參加了很多年,但今天是第一次登臺演講,在主會場來跟大家作交流和分享。也非常感謝DOIT和鄭信武先生的邀請,來參加這次盛會,也預(yù)祝這次大會能夠圓滿的成功。也非常希望像鄭信武先生講的,在未來數(shù)據(jù)產(chǎn)業(yè)和存儲產(chǎn)業(yè)上,DOIT能夠組織更多的交流平臺,來促進咱們中國存儲產(chǎn)業(yè)超越式的發(fā)展。

說起浪潮,大家可能都了解浪潮的服務(wù)器,浪潮的服務(wù)器現(xiàn)在是全球第三,國內(nèi)一直是第一。但現(xiàn)在浪潮是一家基于云+數(shù),為廣大政府用戶和企業(yè)用戶提供云服務(wù)的公司。同時浪潮也是為我們的用戶提供全面的云化基礎(chǔ)設(shè)施,不僅有服務(wù)器,還有存儲、網(wǎng)絡(luò)、云平臺等產(chǎn)品。

所以今天跟大家交流和分享的內(nèi)容是浪潮在存儲這方面創(chuàng)新,因為今天的主題是2018中國存儲和數(shù)據(jù)峰會,其實我今天的內(nèi)容也是這兩個基本點,一個是存儲,一個是數(shù)據(jù),只不過是這兩個點的順序反了過來。想先跟大家交流一下數(shù)據(jù)的情況,然后再跟大家交流浪潮如何應(yīng)對新技術(shù)帶來的變化,怎么運用新的存儲解決之道幫助用戶應(yīng)對這些新的挑戰(zhàn),充分釋放這些數(shù)據(jù)的價值。

剛才李博士從應(yīng)用的角度講了工業(yè)互聯(lián)網(wǎng),我們今天講的這些是存儲系統(tǒng)層面的內(nèi)容。首先我們想看一下,其實現(xiàn)在大家都在講一個事情就是數(shù)字化轉(zhuǎn)型,這是一個非常熱的話題,無論是我們現(xiàn)在的各種各樣的應(yīng)用,我們一些非常好聽的名字,比如說智慧地球、智慧城市、智慧企業(yè)、智慧教育、智慧醫(yī)療、城市大腦、工業(yè)大腦、企業(yè)大腦,事實上都是數(shù)字化轉(zhuǎn)型。

其實我們在數(shù)字化轉(zhuǎn)型過程中,一個基本的架構(gòu)、基本的原理是說我們想從這個物理世界里得到更多的數(shù)據(jù),拿到我們所謂的數(shù)字世界里,通過這個數(shù)字世界的加工和處理,再回到這個物理世界,能夠給這個物理世界帶來更好的結(jié)果、更好的產(chǎn)品,使之更好的服務(wù)。

比如說DOIT做易會實際上也是這樣,所有參會的人信息在DOIT,通過這樣的一些信息和數(shù)據(jù)來組織更好的會務(wù)服務(wù),其實這也是數(shù)字化轉(zhuǎn)型。在數(shù)字化轉(zhuǎn)型當(dāng)中,一個很核心的是我們要有更多的數(shù)據(jù)進入到我們的數(shù)字世界,在未來我們會看到有兩個核心的技術(shù),一個是5G,一個是AI,將會加速數(shù)字化的轉(zhuǎn)型。5G理論上的性能會比4G提高1000倍,實際的一些POC測試的性能提高了10倍,將會把更多的IOT設(shè)備推到了網(wǎng)絡(luò)上,來幫助我們采集數(shù)據(jù)。而AI現(xiàn)在剛才大家都在提AI非常熱,AI會讓我們有更強的能力來去做更多的、更深入的一些數(shù)據(jù)的或者是一些智慧的應(yīng)用,這兩個技術(shù)會加速數(shù)字化的轉(zhuǎn)型。

那這兩個技術(shù)加速數(shù)字化的轉(zhuǎn)型會帶給我們什么?會在數(shù)據(jù)方面產(chǎn)生一些什么樣的變化?主要是有四個方面的變化,第一個,數(shù)據(jù)會具備新的形態(tài)。我們老說海量數(shù)據(jù)、大數(shù)據(jù),可能今天我們才真正體會到我們現(xiàn)在面對的是海量的數(shù)據(jù),我們面對的是大數(shù)據(jù)。因為今天我們看我們的數(shù)據(jù)來源,有內(nèi)部數(shù)據(jù),有外部數(shù)據(jù)。比如從外面通過授權(quán)得到的數(shù)據(jù),比如去采購或者是去采集的一些數(shù)據(jù)。從這種數(shù)據(jù)的生產(chǎn)者的角度上講,過去我們靠敲鍵盤,我們大家都是鍵盤俠做了很多數(shù)據(jù)。后來我們借助一些設(shè)備來采集數(shù)據(jù),從現(xiàn)實世界里采集數(shù)據(jù),無論是智能家居還是智能交通,還是智能的工業(yè)互聯(lián)網(wǎng),越來越多的設(shè)備在幫助我們采集數(shù)據(jù)。

有了AI之后,有了大數(shù)據(jù)和AI之后,實際上數(shù)據(jù)也在產(chǎn)生數(shù)據(jù),尤其是一些大數(shù)據(jù)的挖掘過程中和AI的訓(xùn)練和推理過程中,都會有相當(dāng)多的次生數(shù)據(jù),這些數(shù)據(jù)加在一起就構(gòu)成了我們手里的大數(shù)據(jù)。其實這些數(shù)據(jù)在我們的處理上也不一樣,有的是要快,有的是要海量的批處理,有的是又要快又要海量的批處理,它的處理形態(tài)也不一樣。這些對我們的一個挑戰(zhàn)是什么?就意味著我們在存儲的角度,管的數(shù)據(jù)更多了、更寬了、更復(fù)雜了,這是一個新數(shù)據(jù)形態(tài)。

第二,我們看到新的部署環(huán)境,我們之前只做關(guān)鍵計算,現(xiàn)在又有了智慧計算、科學(xué)計算、網(wǎng)格計算,現(xiàn)在又有了智能的計算、邊緣計算。我們用各種各樣的計算手段,而且現(xiàn)在我們用新的一些基礎(chǔ)設(shè)施的手段,來部署我們數(shù)據(jù)處理的一些環(huán)境。比如說現(xiàn)在我們從公有云,公有云發(fā)展了十幾年,現(xiàn)在公有云又要進入企業(yè)云。我們自己的數(shù)據(jù)中心怎么去真正的變成云化,我們自己真正的數(shù)據(jù)中心的云化,我們還沒有云化完的時候,新的又來了。那我們就會發(fā)現(xiàn),我們想把一些低延遲、高頻的,甚至是一些邏輯回路比較短的應(yīng)用,我們會想放到Edge上,我們把數(shù)據(jù)量不大的,容易遠程上云的放到公有云上,或者短期沒有那么多設(shè)備,一個短周期的,一個高計算力需求的應(yīng)用我們放到云上去。

一個高計算率需求的應(yīng)用放到云上去,或者把一些數(shù)據(jù)備份,有一些容災(zāi)的東西放到云上去,但是最終在我們自己手里邊,我們的數(shù)據(jù)型的、效率型的和安全性的應(yīng)用,其實還是在我們自己的數(shù)據(jù)中心里,也就是數(shù)字化轉(zhuǎn)型,其實是以我為本的,以我們自己的數(shù)據(jù)中心為本的數(shù)字化的轉(zhuǎn)型,這是第二個變化。

第三個變化,我們看應(yīng)用模式的變化,其實數(shù)字化轉(zhuǎn)型最核心的一個目標(biāo)是無,最主要的一個手段是去,我們想通過數(shù)字化轉(zhuǎn)型,用我們智能的手段,智慧化的應(yīng)用,比如在我們政府辦公里面變成無接觸的處理,坐在家里在手機上就可以把所有的政務(wù)處理解決完,或者可以無紙化的辦公,或者現(xiàn)在咱們的鐵路也在準(zhǔn)備無紙化的,沒有票,包括我們的工廠的無人值守和汽車的無人駕駛,這些都是一些新的應(yīng)用模式,這些新的應(yīng)用模式對我們的變化是我們需要更多的數(shù)據(jù),我們需要好的形態(tài)和好的工具來處理,來支撐我們的新的應(yīng)用模式。

第四個方面的變化,新的價值的需求,我們一些智能化的應(yīng)用,我們通過收集數(shù)據(jù)和大數(shù)據(jù)智能的應(yīng)用來處理和加工,得到一個非常有價值的結(jié)果,幫助我們來做預(yù)測,幫助我們來做決策,幫助我們來提升生活水平,幫助我們來提升我們的政府的管理水平,這里還有一個所謂的價值需求,我們一定要有價值的數(shù)據(jù),我們的有價值的數(shù)據(jù)從哪里來?我們會千方百計絞盡腦汁的找數(shù)據(jù),其實我們這些數(shù)據(jù)就在我們的身邊和我們實際的企業(yè)的運營過程里,就我們在每天用我們數(shù)字化的設(shè)備和手段處理的過程里,也就是我們的過程的數(shù)據(jù),其實我們在手機上和電腦上,我們在哪里處理的?這些過程的數(shù)據(jù)我們過去認為不太重要,歸檔都不會,檔案都不會有,現(xiàn)在我們可能會有了檔案,有些檔案我們可能會放一兩年,就把數(shù)據(jù)丟棄了。

當(dāng)我們今天智能化的應(yīng)用普及的時候,我們會發(fā)現(xiàn)過程的數(shù)據(jù)非常重要,比如我們有一個所謂的英語學(xué)習(xí)軟件,為了打造一個適應(yīng)咱們中國人的AI的英語教師,他在有定向的收集我們整個通過手機傳輸?shù)骄W(wǎng)上的英語的發(fā)音,他收集了4500萬人,大約10億分鐘的英語語音,通過智能的手段去訓(xùn)練,去識別,最后訓(xùn)練出一個最適合國人的AI英語教師,可能會比教師教得更好,因為會理解背后的語境文化和邏輯思維,而不是英語語言的東西,這是過程數(shù)據(jù)的價值。

電商過程數(shù)據(jù)的價值,和所有的過程數(shù)據(jù)價值對我們來說都非常重要,所以在數(shù)字化應(yīng)用的第四個變化是,我們要追求有價值的數(shù)據(jù),我們有價值的數(shù)據(jù)就在我們身邊,是有價值的過程數(shù)據(jù)。

這四個數(shù)據(jù)變化,新數(shù)據(jù)形態(tài)和新的部署環(huán)境,我們新的智能化的應(yīng)用模式,和新的價值需求,尤其要挖掘我們的過程數(shù)據(jù)的價值的需求,組成了我們在我們看來所謂新的數(shù)據(jù)時代,它真的和過去我們處理數(shù)據(jù)不一樣了,我們的數(shù)據(jù)可能對于每個人來講,照片用的時候才會找,但是對于一個企業(yè)和組織來講是無時無刻不需要數(shù)據(jù)的,我們的數(shù)據(jù)的種類會更多,我們的數(shù)據(jù)部署環(huán)境更復(fù)雜,我們的應(yīng)用模式更加的智能。

在這種情況下,我們存儲會有什么樣的挑戰(zhàn)?這四個變化對應(yīng)我們現(xiàn)在常用的IT的技術(shù)手段,主要的就是三個,我們認為是大數(shù)據(jù)、AI、云,從這上來看數(shù)據(jù)處理需要解決什么,我們總結(jié)了7個V,比如Value等等。實際上今天我們云有新的挑戰(zhàn)和壓力,怎么支撐更大規(guī)模的數(shù)據(jù)中心和更徹底的虛擬化和云化?在大數(shù)據(jù)方面,我們怎么能夠有更有價值的數(shù)據(jù)到達我們的手里,進入我們的應(yīng)用,比如我們在數(shù)據(jù)精度上的追求,數(shù)據(jù)速率上的追求和數(shù)據(jù)生命周期時長的追求和要求,都會是我們的挑戰(zhàn),AI上最大的挑戰(zhàn)是會不會幫助我們,AI的預(yù)測是不是真的準(zhǔn)確,AI的決策是不是真的會對我們最有用的決策,這是我們在存儲上碰到的挑戰(zhàn)。

有數(shù)據(jù)統(tǒng)計現(xiàn)在70%的服務(wù)器在超大數(shù)據(jù)中心和企業(yè)的中大型數(shù)據(jù)中心里,而且在未來三五年還會更多,越來越多,我們企業(yè)的數(shù)據(jù)中心會從幾十臺幾百臺的服務(wù)器變得越來越多,越來越大的數(shù)據(jù)中心的規(guī)模,在這樣一個數(shù)據(jù)中心里,我們的數(shù)據(jù)接入集群和數(shù)據(jù)處理和應(yīng)用的集群規(guī)模都非常大,我們會用虛擬化的手段跑各種各樣的應(yīng)用,畢竟我們需要敏捷的處理,在這樣的虛擬化情況下,時間樣的存儲可以支撐上萬臺的虛擬機的物理化和十萬臺虛擬機的運行,這是我們碰到的挑戰(zhàn)。

第二個挑戰(zhàn)是大數(shù)據(jù),我們需要精度,比如我們在無人駕駛導(dǎo)航上,我們還是米級的導(dǎo)航,我們一個無人駕駛汽車在開的時候,安全肯定保證不了,因為汽車每秒鐘就會跑上三到五十米,精度要到厘米級。

在宏觀領(lǐng)域,科學(xué)研究上,在勘探、偵測、檢測上,其實我們在微觀的領(lǐng)域,我們是到了納米級,對人腦的研究要到納米級,第二,速率上,設(shè)備和儀器有無線電、光學(xué)和其他的,比如光學(xué)設(shè)備上,過去的視頻監(jiān)控常說1秒鐘15禎,現(xiàn)在一些光學(xué)設(shè)備1秒鐘30禎,在時長上,現(xiàn)在在醫(yī)院里為了讓大家的生命更健康,為了讓我們每個人的壽命更長,我們的醫(yī)院會把我們的病例數(shù)據(jù)和各種的過去治療的數(shù)據(jù)存十五年以上,而現(xiàn)在為了一些安全的需要,過去30天的數(shù)據(jù)現(xiàn)在拉長到60天和90天,這些精度的速率的和數(shù)據(jù)生命周期上的要求,會把我們手里的數(shù)據(jù)放大至少一個數(shù)量級,過去可能我們覺得是幾十個PB,但是未來我們可以預(yù)見的是我們的一些大型數(shù)據(jù)中心里面的數(shù)據(jù)很容易到EB級,現(xiàn)在一些用戶在兩地三中心的追求下,需要在每一個數(shù)據(jù)中心里至少支撐一百個PB的數(shù)據(jù),很容易到EB級,這是我們存儲的第二個挑戰(zhàn)。

存儲的第三個挑戰(zhàn),是AI,其實AI我們要拿到很多原始的數(shù)據(jù)進行標(biāo)記,進行處理,處理成小文件,從視頻里拿出數(shù)據(jù),從圖片里拿出數(shù)據(jù),語音里拿出數(shù)據(jù),文本里拿出來,我們會拿出很多小文件,現(xiàn)在一個大型的AI,真正預(yù)測能力非常準(zhǔn)確的,高預(yù)測率準(zhǔn)確的,有可能它的小文件會達到萬億的級別,現(xiàn)在我們AI的算法和算例,我們的模型其實現(xiàn)在并不是那么的優(yōu)化,我們需要短時間足夠的訓(xùn)練,才能訓(xùn)練出好的模型。

今年浪潮我們通常會用集群的方式搭建一個AI的集群,比如浪潮今年發(fā)布的16個節(jié)GPU節(jié)點的服務(wù)器,我們可能需要16臺搭一個256節(jié)點,每個GPU需要五個容器,每秒鐘每個容器要三千到五千個OPS,給一個GPU輸送數(shù)據(jù),算下來,我們一個16個節(jié)點的GPU服務(wù)器,我們就會有384萬臺OPS,也就是性能上我們會有一個非常大的挑戰(zhàn)。這樣的一些挑戰(zhàn),在存儲上怎么解決,企事業(yè)就是過去的SCIE或者集群存儲等傳統(tǒng)的架構(gòu)已經(jīng)不能解決問題,我們應(yīng)該向互聯(lián)網(wǎng)學(xué)習(xí),面向未來,去看我們這種分布式和我們這種超大規(guī)模分布式架構(gòu)下我們怎么實現(xiàn)一個超大規(guī)模的存儲,在這個超大規(guī)模的存儲上,我們支持上萬臺的物理機和三段式的架構(gòu),我們支持云、大數(shù)據(jù)、人工智能的應(yīng)用。

在容量上,性能上我們可以做到EB級,EGLPS,以及管理上可以做到AIOPS,現(xiàn)在數(shù)據(jù)中心越來越需要AIOPS來解決問題,谷歌數(shù)據(jù)中心用了AI的手段以后,能耗可以降低40%,這是新的存儲解決之道。

浪潮基于我們服務(wù)器的硬件平臺,我們在服務(wù)器的硬件平臺上用一套分布式的存儲的軟件來提供文件對接大數(shù)據(jù),聽上去沒有太多的變化,但這確實是我們?yōu)槲磥淼某笠?guī)模數(shù)據(jù)中心在打造的一套超大規(guī)模的分布式存儲系統(tǒng),我們的單節(jié)點的能力,剛才劉鋼也講了PB級的容量,10GB的帶寬甚至10萬的LPS,最大的擴容性可以做到5200個節(jié)點,通過超大規(guī)模的擴展來最終提供我們需要的容量和最終提供我們的性能,在這里面,比如小文件上,我們可以達到一千億的處理能力,而且我們在AI大數(shù)據(jù)上我們需要數(shù)據(jù)的流動,我們真的需要數(shù)據(jù)的流動嗎?我們真的要復(fù)制和遷移數(shù)據(jù)嗎?我相信大家都不想做這個事情,TB級就夠難受了,PB就不用說了,到了EB級我們認為還是在那里吧,這個時候我們就需要一些文件的0拷貝技術(shù),在原數(shù)據(jù)上,我們怎么做一些工作,能夠讓我們的數(shù)據(jù)通過不同的NF形式或者Hudp為不同的應(yīng)用共享同一份數(shù)據(jù)而免去數(shù)據(jù)遷移和拷貝,以及openstack,我們怎么有更好的能力支持它,支持國內(nèi)的用戶,國內(nèi)的用戶沒有國外得那么幸福,國內(nèi)的用戶我們更多得用openstack做云化中心和支持能力。

我認為浪潮有一點最獨特,就是場景化的定制,我們提倡一個觀點,研發(fā)就是服務(wù),通過給我們的用戶面向未來整個數(shù)字化的轉(zhuǎn)型,云化數(shù)據(jù)中心的建設(shè),對EB級數(shù)據(jù)的處理來定向開發(fā)定制開發(fā)戰(zhàn)略合作,這是我們浪潮的新存儲之道。

浪潮新存儲有了一些實踐,有一個高清圖片,有一個用戶選擇了大于350個節(jié)點,在他的數(shù)據(jù)中心里用了65個節(jié)點做所有虛擬機的鏡像化文件,用250個節(jié)點70個BP存儲他高清的圖片,用了30個節(jié)點在內(nèi)部的協(xié)同辦公來用對象做了他的網(wǎng)盤,通過這樣的一個超大規(guī)模分布式存儲的架構(gòu),我們的這個用戶當(dāng)然在這種對比傳統(tǒng)存儲降低了50%的采購成本,對于他的整個數(shù)據(jù)的作業(yè),他有十個作業(yè)段,他降低了60%的作業(yè)時間,然后他在用戶的規(guī)模擴大一百倍情況下,用戶的服務(wù)的時間SLA從分鐘級降到了秒級,這是我們給超大規(guī)模的用戶所創(chuàng)造的一個價值,當(dāng)然在這里面我們一套的架構(gòu)和小文件上的優(yōu)化,我們在數(shù)據(jù)的免遷移和免拷貝上所做得一些特性,確實幫到了他最終整個超大規(guī)模的應(yīng)用。

我們另一個超大規(guī)模的應(yīng)用,是在融合媒體領(lǐng)域,我們的融合媒體用戶也要在全國建兩地三中心,把他全部的應(yīng)用,無論是關(guān)鍵的還是不關(guān)鍵的全部上云,在他的每個數(shù)據(jù)中心里現(xiàn)在都是千級服務(wù)器,一千臺以上的服務(wù)器,來支撐他大約接近100個業(yè)務(wù)應(yīng)用,最終這個用戶選擇了我們大約一百多個節(jié)點,10PB空間,其中我們有40個節(jié)點,已經(jīng)在支撐他的500臺物理機虛擬化,每臺物理機上跑了五個虛擬機,最終每個數(shù)據(jù)中心至少要一千臺物理機,每個物理機上十個虛擬機,一萬個虛擬機的規(guī)模。這樣通過超大規(guī)模的分布式存儲,我們這位用戶可以在他所有的全國數(shù)據(jù)中心里用一套的工具和一套的知識管理云化數(shù)據(jù)中心基礎(chǔ)設(shè)施中存儲的一部分,從他的運維上都得到了很高的價值,這是我們又一個新存儲的實踐。

這是我跟各位匯報的所有的內(nèi)容,占用了大家稍微多的一點時間,也非常感謝大家聆聽我的分享,希望在未來能夠跟中國存儲的產(chǎn)業(yè)界所有的同行能夠一起合作,能夠跟所有的用戶一起合作,能夠為浪潮的新存儲面向未來,為所有的中國用戶云化數(shù)據(jù)中心提供更多的價值,帶來更多的幫助,讓我們充分享受我們的AI,充分享受我們的5G和智能化的未來,謝謝各位。

關(guān)鍵字:存儲技術(shù)趨勢芯片

本文摘自:機器之心

電子周刊
回到頂部

關(guān)于我們聯(lián)系我們版權(quán)聲明隱私條款廣告服務(wù)友情鏈接投稿中心招賢納士

企業(yè)網(wǎng)版權(quán)所有 ©2010-2024 京ICP備09108050號-6 京公網(wǎng)安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 云和县| 铜川市| 时尚| 土默特左旗| 咸丰县| 阜城县| 酉阳| 郸城县| 海阳市| 嘉兴市| 太仆寺旗| 衡水市| 会泽县| 南乐县| 大城县| 吉安县| 江油市| 京山县| 库尔勒市| 安庆市| 平南县| 英德市| 绿春县| 疏附县| 武胜县| 开阳县| 肥城市| 鱼台县| 边坝县| 临澧县| 晋城| 石棉县| 营口市| 泸西县| 建德市| 屏南县| 峡江县| 乐清市| 阜新市| 维西| 道孚县|