ZB級(jí)數(shù)據(jù)存儲(chǔ),開啟“冷數(shù)據(jù)”的熱時(shí)代
在數(shù)字經(jīng)濟(jì)的浪潮之下,各行各業(yè)每天都在產(chǎn)生大量的數(shù)據(jù);而5G、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等新基礎(chǔ)設(shè)施的發(fā)展,更促使數(shù)據(jù)爆炸性增長(zhǎng)。根據(jù)IDC的預(yù)測(cè),全球年新增數(shù)據(jù)量到2025年將達(dá)175ZB,如果用市面上主流的8T硬盤來(lái)存儲(chǔ)這些數(shù)據(jù),需要230多億塊硬盤,如果每塊硬盤的價(jià)格是1300元,那么存儲(chǔ)這些數(shù)據(jù)需要30萬(wàn)億元,大約相當(dāng)于2019年中國(guó)GDP的三分之一。
海量數(shù)據(jù)存儲(chǔ)導(dǎo)致企業(yè)的存儲(chǔ)成本快速上升,而數(shù)據(jù)流失和數(shù)據(jù)管理混亂的問(wèn)題也逐漸暴露。數(shù)據(jù)表明,當(dāng)2025年全球新增數(shù)據(jù)量達(dá)到175ZB時(shí),真正能存儲(chǔ)下來(lái)的數(shù)據(jù)僅有15ZB左右,流失率超過(guò)91%。
UCloud優(yōu)刻得長(zhǎng)期對(duì)多媒體和日志類存儲(chǔ)的研究表明,隨著時(shí)間推移,各類數(shù)據(jù)的訪問(wèn)量都會(huì)產(chǎn)生由熱至溫,由溫至冷的轉(zhuǎn)變,大約6個(gè)月后,絕大部分?jǐn)?shù)據(jù)都會(huì)變成冷數(shù)據(jù),正是由于數(shù)據(jù)存在這樣由熱至冷的變化特征,存儲(chǔ)分層已然是大勢(shì)所趨。高性能IO型存儲(chǔ)通常適用于流媒體網(wǎng)站、大數(shù)據(jù)分析、移動(dòng)應(yīng)用、游戲等實(shí)時(shí)互動(dòng)場(chǎng)景的數(shù)據(jù)讀寫;低頻存儲(chǔ)可為各類物聯(lián)網(wǎng)數(shù)據(jù)采集,業(yè)務(wù)日志等場(chǎng)景提供長(zhǎng)期有效的存儲(chǔ)空間,支持?jǐn)?shù)據(jù)實(shí)時(shí)訪問(wèn);歸檔存儲(chǔ)適合長(zhǎng)期合規(guī)性存儲(chǔ)、醫(yī)療科學(xué)資料、備份等場(chǎng)景,數(shù)據(jù)非實(shí)時(shí)讀取,但能夠大幅降低存儲(chǔ)成本。
在目前企業(yè)數(shù)據(jù)的冰山模型里,80%的數(shù)據(jù)量來(lái)源于冷數(shù)據(jù)。UCloud優(yōu)刻得對(duì)象存儲(chǔ)產(chǎn)品能幫助企業(yè)將數(shù)據(jù)自動(dòng)化分層存儲(chǔ),歸檔存儲(chǔ)對(duì)應(yīng)的就是冷數(shù)據(jù)存儲(chǔ),UCloud優(yōu)刻得新一代歸檔存儲(chǔ)產(chǎn)品可以降低大量“冷數(shù)據(jù)”的存儲(chǔ)成本。
全新自研存儲(chǔ)架構(gòu),突破成本極限
歸檔存儲(chǔ)相較于其他存儲(chǔ),最大的優(yōu)勢(shì)就是成本更低。存儲(chǔ)成本主要由硬件成本及運(yùn)營(yíng)成本構(gòu)成。
為了降低硬件成本,UCloud優(yōu)刻得新一代歸檔存儲(chǔ)在國(guó)內(nèi)首次采用了西部數(shù)據(jù)的高密JBOD機(jī)型和SMR盤,并首次利用自研存儲(chǔ)架構(gòu)實(shí)現(xiàn)該技術(shù)落地。SMR盤全名為疊瓦式磁記錄硬盤,相較于傳統(tǒng)CMR磁盤,SMR磁盤最大的區(qū)別是,它的磁道是按Zone呈現(xiàn)的疊瓦式分布,這種分布帶來(lái)的好處是可以更高密度的存儲(chǔ)數(shù)據(jù)。與36盤傳統(tǒng)機(jī)型相比,采用高密機(jī)型SMR盤后,單位機(jī)架的存儲(chǔ)容量提升5.375倍,磁盤數(shù)量增加59%,單塊磁盤存儲(chǔ)空間提升150%。
UCloud優(yōu)刻得在新一代歸檔存儲(chǔ)中,基于多年公有云分布式存儲(chǔ)經(jīng)驗(yàn)積累,采用新一代自研歸檔存儲(chǔ)架構(gòu),使產(chǎn)品可以兼容SMR、CMR盤、雙活高可用、支持上下電的IO調(diào)度、EC的靈活配置和磁盤故障自動(dòng)化發(fā)現(xiàn);充分利用高密機(jī)型SMR盤的硬件優(yōu)勢(shì),并采用自研架構(gòu)降低硬件成本。
在降低硬件成本的基礎(chǔ)上,UCloud優(yōu)刻得新一代歸檔存儲(chǔ),采用軟硬件協(xié)同的理念,降低運(yùn)營(yíng)成本。結(jié)合硬件的選型,UCloud優(yōu)刻得新一代歸檔存儲(chǔ)在軟件層面上自主研發(fā)了一套磁盤上下電調(diào)度系統(tǒng),可以保障磁盤的壽命的同時(shí),極大降低電費(fèi)成本,使磁盤能耗降低近90%, 在純寫入場(chǎng)景下,耗能磁盤塊數(shù)為原有的5%。
在可靠性方面,UCloud優(yōu)刻得新一代歸檔存儲(chǔ)實(shí)現(xiàn)了存儲(chǔ)節(jié)點(diǎn)雙機(jī)頭可見(jiàn),在發(fā)生故障時(shí),可以快速自動(dòng)切換;通過(guò)采用大比例可靈活配置的EC,提高存儲(chǔ)利用率150%;通過(guò)硬件加速,使EC計(jì)算相較于傳統(tǒng)的純軟件計(jì)算,提升了4~5倍吞吐。新一代歸檔存儲(chǔ)還實(shí)現(xiàn)了全鏈路的CRC校驗(yàn),來(lái)全面保障用戶數(shù)據(jù)的安全性。
面向三大類數(shù)據(jù)、九大應(yīng)用場(chǎng)景
UCloud優(yōu)刻得新一代歸檔存儲(chǔ)可廣泛的應(yīng)用在多媒體歸檔場(chǎng)景、歷史數(shù)據(jù)合規(guī)性場(chǎng)景、以及大數(shù)據(jù)/AI分析數(shù)據(jù)歸檔等場(chǎng)景中,隨著5G到來(lái),數(shù)據(jù)量的爆發(fā),還將在更多行業(yè)、更多場(chǎng)景中得到應(yīng)用,可以說(shuō),這是一款面向未來(lái)的產(chǎn)品。
1. 多媒體歸檔場(chǎng)景
在線直播、視頻監(jiān)控目前已逐漸普及,在這些場(chǎng)景中,一個(gè)1080P的高清攝像頭存儲(chǔ)一天就需要45G的容量,一個(gè)視頻網(wǎng)站每天產(chǎn)生的數(shù)據(jù)量可達(dá)TB以上;UCloud優(yōu)刻得某廣電客戶此前采用藍(lán)光存儲(chǔ)的方式,預(yù)計(jì)到2024年,其存儲(chǔ)數(shù)據(jù)量將達(dá)16.4PB,大概需要8個(gè)藍(lán)光盤柜,占用機(jī)房一整排機(jī)柜空間,對(duì)客戶來(lái)說(shuō),是一筆巨大的成本支出。
UCloud優(yōu)刻得新一代歸檔存儲(chǔ)可提供不亞于標(biāo)準(zhǔn)存儲(chǔ)的寫入帶寬,實(shí)現(xiàn)分鐘級(jí)數(shù)據(jù)異步取回,在線回看;并采用糾刪碼冗余策略來(lái)保障數(shù)據(jù)安全可靠。結(jié)合UCloud優(yōu)刻得對(duì)象存儲(chǔ)不同存儲(chǔ)類型間的生命周期轉(zhuǎn)換功能,用戶還可快速實(shí)現(xiàn)數(shù)據(jù)由熱至溫再到冷的存儲(chǔ)類型轉(zhuǎn)換,完成自動(dòng)化的數(shù)據(jù)生命周期管理。
2.歷史數(shù)據(jù)合規(guī)存儲(chǔ)
面對(duì)日益上漲的企業(yè)數(shù)據(jù)庫(kù)備份場(chǎng)景,UCloud優(yōu)刻得提供的數(shù)據(jù)庫(kù)備份方案能夠有效幫助用戶縮減備份流程。針對(duì)需要定時(shí)清理備份、縮減備份成本的用戶,UCloud優(yōu)刻得對(duì)象存儲(chǔ)支持?jǐn)?shù)據(jù)生命周期管理功能,可以實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)定期清理、定期轉(zhuǎn)入歸檔存儲(chǔ)。針對(duì)需要更高安全級(jí)別的用戶,UCloud優(yōu)刻得對(duì)象存儲(chǔ)可支持跨區(qū)域復(fù)制功能,幫助用戶完成數(shù)據(jù)的異地備份。
在電商平臺(tái)的日志歸檔場(chǎng)景中,UCloud優(yōu)刻得對(duì)象存儲(chǔ)還提供了ElasticSearch接入和數(shù)據(jù)庫(kù)備份功能,當(dāng)數(shù)據(jù)量增大后,對(duì)歷史數(shù)據(jù)進(jìn)行統(tǒng)一歸檔至歸檔存儲(chǔ)的方式,以降低存儲(chǔ)成本。
3. 大數(shù)據(jù)、AI分析數(shù)據(jù)歸檔
根據(jù)研究機(jī)構(gòu)提供的數(shù)據(jù),2020年生物經(jīng)濟(jì)規(guī)模已達(dá)15億美元。拿腫瘤疾病的基因測(cè)序?yàn)槔瑔蝹€(gè)患者的DNA樣本數(shù)據(jù)能達(dá)到560GB,如果按照每年1800多萬(wàn)的癌癥病例來(lái)計(jì)算,使用基因分析技術(shù)后每年就會(huì)產(chǎn)生10PB的腫瘤基因樣本數(shù)據(jù)。而中國(guó)一家三甲醫(yī)院每年的影像數(shù)據(jù)就有20TB左右,全國(guó)3萬(wàn)多家醫(yī)院的數(shù)據(jù)量,也是非常龐大的數(shù)據(jù)。UCloud優(yōu)刻得歸檔存儲(chǔ)能夠?yàn)榇罅康纳镄畔ⅰoT實(shí)時(shí)分析數(shù)據(jù)等場(chǎng)景提供長(zhǎng)期歸檔存儲(chǔ),為未來(lái)的醫(yī)療研究、工業(yè)智能儲(chǔ)備數(shù)據(jù)資料。
新基建背景下,隨著新技術(shù)與新場(chǎng)景不斷融合,在線教育、云游戲、自動(dòng)駕駛、智慧社區(qū)、智能制造等行業(yè),都將產(chǎn)生越來(lái)越多的數(shù)據(jù)。UCloud優(yōu)刻得新一代歸檔存儲(chǔ),面向未來(lái)的數(shù)據(jù)分層存儲(chǔ)場(chǎng)景,采用全新的自研存儲(chǔ)架構(gòu),降低用戶的硬件成本和運(yùn)營(yíng)成本,讓用戶以更低的價(jià)格、更可靠的方式,存儲(chǔ)數(shù)據(jù)資產(chǎn),為未來(lái)挖掘數(shù)據(jù)生產(chǎn)要素的價(jià)值積累財(cái)富。