Industry Outlook是一個介紹有關(guān)數(shù)據(jù)中心和IT的市場趨勢,技術(shù)和其他問題的專家觀點的數(shù)據(jù)中心行業(yè)媒體。
Industry Outlook日前與Peter Godman探討了數(shù)據(jù)的爆炸式增長以及企業(yè)如何管理數(shù)據(jù)等令人關(guān)注的問題。Peter Godman是通用級文件存儲供應(yīng)商Qumulo公司的共同創(chuàng)始人和首席技術(shù)官,主要工作是指導(dǎo)產(chǎn)品開發(fā)和管理,在分布式文件系統(tǒng)和高性能分布式系統(tǒng)方面具有豐富的專業(yè)知識。
IO:目前企業(yè)在數(shù)據(jù)方面面臨的最大挑戰(zhàn)是什么?
PG:數(shù)據(jù)正在爆炸式增長,每兩年翻一番。其中的大部分數(shù)據(jù)中心都是在傳統(tǒng)存儲系統(tǒng)進行存儲的。要部署具有突破性創(chuàng)新的關(guān)鍵任務(wù)工作流,數(shù)據(jù)密集型組織必須隨時隨地利用和挖掘其數(shù)據(jù)的價值。他們需要在任何操作環(huán)境(PB級和全球范圍內(nèi))自由存儲,管理和訪問基于文件的數(shù)據(jù)。
IO:過去10年來出現(xiàn)了哪些重大變化和進步,促成了這種情況?
PG:企業(yè)的全球運營模式已經(jīng)形成了新的規(guī)模需求,包括存儲的文件數(shù)量,實時管理大量數(shù)據(jù)足跡的能力,全球數(shù)據(jù)分布以及利用云計算的需求。因此,企業(yè)正在尋找能夠幫助他們在數(shù)據(jù)中心和云計算之間移動和共享基于文件的工作負載的技術(shù)。智能的文件存儲系統(tǒng)是為了滿足現(xiàn)代企業(yè)的需求而設(shè)計的,它既能在本地部署的數(shù)據(jù)中和云端中擴展性能和容量,又無硬件限制。
IO:數(shù)據(jù)危機對哪些行業(yè)影響最大,為什么?
PG:數(shù)據(jù)密集型行業(yè)離不開技術(shù)創(chuàng)新。而媒體、娛樂、科學(xué)計算、電信、生命科學(xué)和醫(yī)學(xué)研究,以及汽車等行業(yè)受到的影響最大,因為它們的分布式數(shù)據(jù)集存儲應(yīng)用在在全球分布的各個地點,并具有數(shù)以億計的文檔的龐大規(guī)模。
例如,在媒體和娛樂行業(yè)中,數(shù)字動畫電影的渲染能夠生成數(shù)百TB到數(shù)PB的數(shù)據(jù)。一部電影可能包含超過5億個文件和2500億像素,數(shù)據(jù)密集的模擬可以從視頻游戲的小規(guī)模序列發(fā)展到數(shù)十億個數(shù)據(jù)點和每秒數(shù)千兆位的吞吐量需求。
同樣,科學(xué)計算和圖像生成大量的文件數(shù)據(jù)。無論是研究人員涉及三維醫(yī)學(xué)成像,電子顯微鏡還是自然現(xiàn)象模型,他們都在使用越來越復(fù)雜的模擬和分辨率越來越高的圖像來實現(xiàn)其突破,但這需要處理數(shù)十億個文件,同時保持高性能,并深入了解比以往任何時候都更重要的數(shù)據(jù)。
IO:數(shù)據(jù)呈指數(shù)級的增長速度是不可持續(xù)的,最終會阻礙數(shù)據(jù)存儲的增長。有沒有看到任何可以滿足這樣的成本,技術(shù)限制,物理空間需求的技術(shù)或產(chǎn)品?預(yù)計這個巨大的增長會持續(xù)多久?
PG:至少在未來的10到15年間,存儲容量將會每兩年翻一番。華盛頓大學(xué)的專家LuisCeze及其同事一直致力于密度和壽命都很高的DNA數(shù)據(jù)編碼。人們將要開始面臨的一個重大挑戰(zhàn)是,相對于容量而言,交付的可用性數(shù)量正在迅速減少。十五年前,HDD提供了1,000IOPS/TB的存儲吞吐速度。如今數(shù)字更像是1012IOPS/TB。十年后,人們將面臨大量的數(shù)據(jù),但能夠積極處理的數(shù)據(jù)越來越少。
存儲級存儲器的密度必須至少每四年翻一番,以彌補摩爾定律,這就是說,晶圓廠的成本每四年增加一倍!這樣做似乎很容易。隨著切換到3D堆疊技術(shù),有機會在芯片上堆疊得更高,并減少恢復(fù)過程。也就是說,按照人們正在進行的速度,半導(dǎo)體晶圓廠在10年內(nèi)的市值將高達1000億美元,其數(shù)量將來越來越少。
決定刪除哪些數(shù)據(jù)是一個謹慎的過程,而錯誤刪除是令人痛苦的。密度的增加使得保存所有東西變得容易,只要存儲變得更密集,人們就會不斷填充。
IO:存儲行業(yè)在幫助企業(yè)提供存儲技術(shù)和應(yīng)用的過程中扮演什么角色?正在進行哪些創(chuàng)新?
PG:要以PB級擴展本地和公共云存儲,人們需要一個全新的企業(yè)級存儲級別,允許企業(yè)創(chuàng)建單一的全局數(shù)據(jù)足跡。這種新型的企業(yè)存儲將被傳統(tǒng)的數(shù)據(jù)存儲到安全的地方。
IO:云計算將扮演什么角色?
PG:云計算為現(xiàn)代數(shù)據(jù)驅(qū)動型企業(yè)提供了幾個核心優(yōu)勢。它提供了敏捷性:配置和釋放資源,并且用時越來越短。它可以根據(jù)需要訪問TPU,GPU和其他計算資源。最后,它提供了彈性,允許數(shù)據(jù)驅(qū)動的企業(yè)在短時間內(nèi)使用大量的計算。
IO:你能描述一下云端的數(shù)據(jù)量與內(nèi)部部署的數(shù)據(jù)量嗎?有沒有預(yù)見會遇到某種限制?
PG:這很大程度上取決于如何定義云計算。如果企業(yè)采用的是IaaS+PaaS+SaaS,則大部分數(shù)據(jù)可能已經(jīng)存在于云中。盡管如此,數(shù)據(jù)的增長仍然是在邊緣,云計算數(shù)據(jù)生存的自然限制是光速。專家PeterLevine最近做了一個名為“回到邊緣和云端計算的終結(jié)”的演講,探討了這個問題。世界上的大部分數(shù)據(jù)需要與納秒或微秒的決定區(qū)分。云計算離大多數(shù)決策還很遙遠。在一段時間內(nèi),人們將處于一個主權(quán),成本,延遲和安全緊張的地方。除此之外,人們可以在云中存儲多少數(shù)據(jù)沒有實際的限制。
IO:隨著企業(yè)越來越依賴云端進行數(shù)據(jù)存儲,數(shù)據(jù)所有權(quán)和隱私權(quán)將會得到多大的關(guān)注?這樣的問題對轉(zhuǎn)型的影響很大?還是只是一個轉(zhuǎn)折的過程?
PG:數(shù)據(jù)主權(quán)法對公共云用戶來說是一個巨大的挑戰(zhàn),也是公共云的一個很好的機會。能夠通過標(biāo)準(zhǔn)API輕松移動數(shù)據(jù)以符合法律或?qū)徲嬙L問,其權(quán)限是強大的。例如,雖然數(shù)以萬計的IT專業(yè)人員可能仍需要學(xué)習(xí)數(shù)據(jù)主權(quán)法律,盡管云計算可能會無意中違反這些法律,但云計算也會遵從一個API。總之,云計算應(yīng)該通過對許多IT團隊的努力進行重復(fù)刪除而使數(shù)據(jù)主權(quán)和所有權(quán)更加容易。
IO:您是否有數(shù)據(jù)或如何估計數(shù)據(jù)存儲成本,特別是長期和短期趨勢是什么?
PG:如今的一個10TB機械硬盤售價大概是360美元,也就是36美元/TB。如果購買1.6TBSSD硬盤,則是850美元左右,或850美元/TB。現(xiàn)在同等容量的情況下,閃存仍然比硬盤貴10倍(假設(shè)人們可以在閃存上進行壓縮和重復(fù)數(shù)據(jù)刪除,但是出于某種未說明的原因而不是在硬盤上)。15TB的LTO7磁帶的價格可能不到100美元,或者說6美元/TB。所以磁帶是HDD硬盤成本的六分之一,是NAND閃存成本的十分之一。HDD硬盤和NAND閃存容量之間的差距目前有所增加。
幾年前,處在閃存和磁帶之間的HDD硬盤壓似乎很快將要消亡。最近,HGST公司宣布已經(jīng)使微波輔助磁記錄成為可能,并預(yù)測這項技術(shù)將使它在未來每年地提高50%的存儲密度。如果這個預(yù)測結(jié)果是正確的,十年來,相同容量的HDD硬盤的成本可能只是閃存的十分之一。這種情況給存儲系統(tǒng)帶來了巨大的壓力,將會繼續(xù)提供混合解決方案,以便利用閃存性能和HDD硬盤的容量。
IO:如何看待未來五年企業(yè)存儲和數(shù)據(jù)中心行業(yè)的變化?
PG:在接下來的五年里,人們將看到云計算和本地數(shù)據(jù)中心的合理化。企業(yè)會將許多應(yīng)用程序遷移到公共云。移動應(yīng)用程序的難點在于移動他們的數(shù)據(jù)。促進移動的存儲產(chǎn)品將會蓬勃發(fā)展,存儲產(chǎn)品如果在應(yīng)用程序遷移過程中在技術(shù)方面落后,將會失去存在的意義。最后,存儲將被分為廣泛使用,相關(guān)的便攜式數(shù)據(jù)管理,以及不太相關(guān)的存儲點解決方案幾種類型。