而在11月10日舉辦的UCan下午茶武漢站的活動(dòng)中，四位分布式存儲(chǔ)的專家為冒雨到場(chǎng)的近百位開發(fā)者朋友奉上了一場(chǎng)分布式存儲(chǔ)的技術(shù)盛宴，為這個(gè)斜風(fēng)細(xì)雨、略顯涼意的深秋下午增添了些許知識(shí)的溫暖。
UCloud分布式文件系統(tǒng)架構(gòu)解析
UCloud文件存儲(chǔ)研發(fā)工程師鄧瑾首先為到場(chǎng)的觀眾帶來了UCloud分布式文件系統(tǒng)架構(gòu)的解析。鄧瑾首先簡(jiǎn)單介紹了分布式文件系統(tǒng)的概念，他說，分布式文件系統(tǒng)是傳統(tǒng)文件系統(tǒng)的延伸，通過分布式技術(shù)手段和公有云規(guī)模效應(yīng)獲取傳統(tǒng)文件系統(tǒng)所沒有的存儲(chǔ)能力。分布式文件系統(tǒng)具有容量和性能線性提升、高可靠、高可用、低成本等特性。鄧瑾還介紹了幾種經(jīng)典的分布式文件系統(tǒng)——GFS/HDFS、TFS、WAS和WAFL/CephFS，以及對(duì)象存儲(chǔ)、KV存儲(chǔ)、文件存儲(chǔ)等幾種常見的存儲(chǔ)方式。
接著鄧瑾介紹了UFS的發(fā)展歷程，他表示，UFS是吸收了基于開源軟件Gluster FS的原型系統(tǒng)之后設(shè)計(jì)的一套完全自主研發(fā)、面向公有云業(yè)務(wù)設(shè)計(jì)，支持多類型主機(jī)、標(biāo)準(zhǔn)協(xié)議NFSv3/v4（SMB is coming）的高可用、高可靠的文件存儲(chǔ)服務(wù)。鄧瑾還簡(jiǎn)單介紹了UFS 1.0的整體架構(gòu)、索引層、數(shù)據(jù)層以及UFS 1.0的局限。
然后，鄧瑾重點(diǎn)介紹了UFS2.0的Nebula架構(gòu)，它采用了Append Only的底層存儲(chǔ)模型，并使用LSM-Tree技術(shù)支持隨機(jī)寫場(chǎng)景、具有超大文件支持、靈活的冗余機(jī)制以及低延遲和高性能。
分布式存儲(chǔ)中的數(shù)據(jù)分布算法
奧思數(shù)據(jù)創(chuàng)始人&CTO李明宇第二個(gè)登場(chǎng)，他詳細(xì)講解了分布式存儲(chǔ)中的數(shù)據(jù)分布算法。李明宇從一致性哈希算法及其在實(shí)際應(yīng)用中遇到的挑戰(zhàn)開始講起，他表示，一致性哈希算法具有不需要查表或通信過程即可定位數(shù)據(jù)，計(jì)算復(fù)雜度不隨數(shù)據(jù)量增長(zhǎng)而改變，效率高、均勻性好，并且增加/減少節(jié)點(diǎn)時(shí)數(shù)據(jù)遷移量小等優(yōu)點(diǎn)。但同時(shí)，一致性哈希算法在實(shí)際應(yīng)用中也有很大的缺陷，一是在企業(yè)級(jí)IT場(chǎng)景中存在多副本可靠存儲(chǔ)問題，成本較高，數(shù)據(jù)也不能丟，二是在存儲(chǔ)區(qū)塊鏈場(chǎng)景，它幾乎不可能獲取全局視圖，并且甚至幾乎沒有一刻是穩(wěn)定的。
李明宇接著介紹了典型“存儲(chǔ)區(qū)塊鏈”中的數(shù)據(jù)分布算法，他表示，存儲(chǔ)區(qū)塊鏈?zhǔn)欠植际酱鎯?chǔ)（P2P存儲(chǔ)）+區(qū)塊鏈，并通過Token激勵(lì)，鼓勵(lì)大家貢獻(xiàn)存儲(chǔ)資源，參與構(gòu)建一個(gè)全世界范圍的分布式存儲(chǔ)系統(tǒng)，其代表項(xiàng)目是Sia、Storj以及IPFS+filecoin，李明宇還簡(jiǎn)單介紹了Chord和Kademlia算法。
李明宇最后談到了典型的企業(yè)級(jí)存儲(chǔ)的數(shù)據(jù)分布算法Dynamo、Ceph的CRUSH、Gluster的Elastic Hashing以及Swift的Ring。這些算法都有相似的特點(diǎn)，首先它們都是基于/借鑒一致性哈希，增加/減少節(jié)點(diǎn)時(shí)數(shù)據(jù)遷移量小。其次，引入對(duì)數(shù)據(jù)中心物理拓?fù)涞慕＃–luster Map），數(shù)據(jù)多副本 / EC分片跨故障域 / 可用區(qū)分布。另外，這些算法還可以對(duì)節(jié)點(diǎn)劃分權(quán)重，數(shù)據(jù)分布和容量/性能匹配，輔助擴(kuò)容。最后，它們還可以有多種存儲(chǔ)策略選擇。
云硬盤架構(gòu)升級(jí)和性能提升
第三位演講嘉賓是來自UCloud的塊存儲(chǔ)研發(fā)工程師葉恒，他主要針對(duì)如何對(duì)UCloud云硬盤UDisk進(jìn)行架構(gòu)升級(jí)和性能提升進(jìn)行了介紹。葉恒表示，之所以UCloud要對(duì)云硬盤架構(gòu)進(jìn)行升級(jí)，目的主要是：
一、解決老架構(gòu)不能充分使用后端硬件能力的弊端。
二、支持SSD云盤，提供QoS保證，可以用滿后端NVMe物理盤的IOPS和帶寬性能，單個(gè)云盤可達(dá)2.4W IOPS。
三、充分降低熱點(diǎn)問題。
四、支持更大容量云盤（32T甚至更大）。
五、支持并發(fā)創(chuàng)建幾千塊云盤，支持并發(fā)掛載幾千塊云盤。
六、支持老架構(gòu)云盤在線向新架構(gòu)遷移，支持普通云盤在線遷移至SSD云盤。
而要實(shí)現(xiàn)這樣的目標(biāo)，UDisk對(duì)以下幾個(gè)方面進(jìn)行優(yōu)化：
首先，對(duì)IO路徑進(jìn)行了優(yōu)化，通過去掉老架構(gòu)中的IO接入層Proxy，減少了一次IO轉(zhuǎn)發(fā)，以及IO數(shù)據(jù)的拷貝。寫IO發(fā)給主副本，由主副本同步兩份到從副本，讀IO直用從主副本讀一份就可以， 可以看到讀IO相比老機(jī)構(gòu)減少了一層，讀IO的延時(shí)降低了0.2-1ms, 寫IO的尾部延時(shí)有效降低。
其次，對(duì)元數(shù)據(jù)進(jìn)行了優(yōu)化，老架構(gòu)中是按索引的方式組織元數(shù)據(jù)，分片大小為1G，新架構(gòu)中采用了一致性哈數(shù)計(jì)算路由，支持最小1M的分片，大大減小元數(shù)據(jù)管理服務(wù)的壓力。云硬盤創(chuàng)建時(shí)，只用通過在環(huán)上計(jì)算就可以得到所有分片的位置，判斷是否滿足容量的要求。云硬盤掛載時(shí)client只要獲取hash環(huán)的構(gòu)建參數(shù)，就可在內(nèi)存中構(gòu)建相同的環(huán)，通過直接計(jì)算轉(zhuǎn)發(fā)IO到后端集群。
第三， 在軟件設(shè)計(jì)上采用多線程的設(shè)計(jì)方式，由于NVMe SSD性能百倍于機(jī)械盤，傳統(tǒng)的單線設(shè)計(jì)無法充分發(fā)揮后端存儲(chǔ)介質(zhì)的性能。在Client端會(huì)為每個(gè)云盤分配一個(gè)線程轉(zhuǎn)發(fā)IO，在后端，使用多個(gè)線程讀寫一塊物理磁盤。
第四 ，防過載策略。普通云盤底層物理磁盤性能會(huì)是瓶頸，通過限制并發(fā)提交的隊(duì)列深度加以控制，而對(duì)于SSD云盤，后端是NVMe SSD，后端服務(wù)的CPU會(huì)是瓶頸，可能出現(xiàn)某個(gè)IO線程非常繁忙而其他線程比較空閑，通過將這個(gè)線程負(fù)責(zé)的部分云盤的連接切換到其他線程達(dá)到負(fù)載均衡的作用。具體實(shí)現(xiàn)通過周期性的采集底層物理磁盤的使用率和每個(gè)IO線程的CPU使用率發(fā)給監(jiān)控模塊，由其進(jìn)行策略控制。
第五，在線遷移優(yōu)化方面，只需6步即可完成從普通云硬盤向SSD云盤的在線遷移。
葉恒還介紹了UCloud正在研發(fā)的新云硬盤架構(gòu)，將追求更高性能、更低的時(shí)延（平均時(shí)延100us）以及更高的IOPS（單盤可突破百萬）。葉恒還透露，預(yù)計(jì)UCloud將在12月底推出公測(cè)版超高性能云盤。
基于CephFS的改進(jìn)及優(yōu)化
深信服的存儲(chǔ)研發(fā)專家盧波最后一個(gè)登場(chǎng)，他和在座的觀眾一起討論了基于CephFS的改進(jìn)和優(yōu)化。盧波首先介紹了Ceph，他表示，Ceph是一個(gè)分層的架構(gòu)，底層是一個(gè)基于CRUSH（哈希）的分布式對(duì)象存儲(chǔ)——RADOS，上層提供對(duì)象存儲(chǔ)（RADOSGW）、塊存儲(chǔ)（RDB）和文件系統(tǒng)（CephFS）三種訪問方式。CephFS始于Sage Weil的博士論文研究，目標(biāo)是實(shí)現(xiàn)分布式的元數(shù)據(jù)管理以支持EB級(jí)別數(shù)據(jù)規(guī)模。
盧波還介紹了Cephfs的架構(gòu)，并解釋了MDS的作用、MDS的并發(fā)控制以及元數(shù)據(jù)的持久化。盧波還談了Ceph系統(tǒng)的缺點(diǎn)以及各大廠商對(duì)Ceph系統(tǒng)的改造和優(yōu)化。盧波最后對(duì)Ceph的未來發(fā)展進(jìn)行了展望，他認(rèn)為，多MDS將是Ceph未來的一個(gè)技術(shù)趨勢(shì)，必將得到更大的發(fā)展。
隨著盧波的演講結(jié)束，在場(chǎng)的近百名開發(fā)人員和存儲(chǔ)大咖們一起度過了一個(gè)充實(shí)的下午，伴隨著熱烈的掌聲和火熱的現(xiàn)場(chǎng)交流，武漢站的UCan下午茶活動(dòng)圓滿落幕，而UCan下午茶今年最后一場(chǎng)年終大戲——UCan下午茶返場(chǎng)活動(dòng)將會(huì)移師首都北京舉行，屆時(shí)將邀請(qǐng)UCan下午茶各站的優(yōu)秀講師齊聚京城，為我們奉上一場(chǎng)匯聚精華的饕餮技術(shù)盛宴，如此難得的機(jī)會(huì)，感興趣的朋友們可千萬不能錯(cuò)過！
京公網(wǎng)安備 11010502049343號(hào)