[導(dǎo)讀]在下午的云存儲應(yīng)用論壇（云存儲下的數(shù)據(jù)經(jīng)濟）上，樂視云存儲技術(shù)總監(jiān)薛偉以樂視云存儲為基礎(chǔ)談了當前企業(yè)與個人如何應(yīng)對云存儲，其主要話題從傳統(tǒng)視頻網(wǎng)站的迭代存儲架構(gòu)問題驅(qū)動優(yōu)化，存儲平臺化服務(wù)思路，全網(wǎng)企業(yè)云存儲服務(wù)平臺，個人云存儲服務(wù)時代的有機云存儲等方向進行了詳細系統(tǒng)的介紹。

DOSTOR北京報道：2014（第十屆）中國存儲峰會2014年2日在北京盛大開幕。作為中國存儲產(chǎn)業(yè)的十年盛會，峰會以“掌控數(shù)據(jù)經(jīng)濟·重塑商業(yè)價值”為主題，邀請超過1500位學(xué)術(shù)界頂級學(xué)者、產(chǎn)業(yè)精英和企業(yè)用戶出席，圍繞數(shù)據(jù)經(jīng)濟和商業(yè)價值兩大話題，從云計算、大數(shù)據(jù)、軟件定義和閃存等四個技術(shù)方面舉行一系列主題演講和圓桌會議。

在下午的云存儲應(yīng)用論壇（云存儲下的數(shù)據(jù)經(jīng)濟）上，樂視云存儲技術(shù)總監(jiān)薛偉以樂視云存儲為基礎(chǔ)談了當前企業(yè)與個人如何應(yīng)對云存儲，其主要話題從傳統(tǒng)視頻網(wǎng)站的迭代存儲架構(gòu)問題驅(qū)動優(yōu)化，存儲平臺化服務(wù)思路，全網(wǎng)企業(yè)云存儲服務(wù)平臺，個人云存儲服務(wù)時代的有機云存儲等方向進行了詳細系統(tǒng)的介紹。

以下是大會速記內(nèi)容：

大家下午好，樂視網(wǎng)其實不是專業(yè)做存儲的公司，我們今天的這個話題跟更多企業(yè)的視角不太一樣，我們還是從互聯(lián)網(wǎng)的需求視角來看。

今天下午主要帶領(lǐng)大家展開四個話題的討論，第一個作為傳統(tǒng)視頻網(wǎng)站，甚至作為互聯(lián)網(wǎng)企業(yè)，他們對于存儲架構(gòu)問題的解決，怎么能夠迭代優(yōu)化安排。

第二個作為互聯(lián)網(wǎng)企業(yè)怎么把存儲品牌化，我們對互聯(lián)網(wǎng)內(nèi)部的多個業(yè)務(wù)線，以及多個場景對存儲的使用仍然需要一個產(chǎn)品級的，或者叫平臺化的存儲服務(wù)，這里面我們講一個存儲平臺化。

后面兩個是圍繞價值來講，一個是如何對全網(wǎng)的云存儲的客戶提供服務(wù)，主要是面向2B的市場。最后一個是面向2C的市場。

其實我們從互聯(lián)網(wǎng)角度來看關(guān)注的角度不太一樣，我們關(guān)注的互聯(lián)網(wǎng)為個人、客戶提供業(yè)務(wù)，我們主要考慮到如何用低成本，我們比較關(guān)注成本，當然你會發(fā)現(xiàn)在我們的演進當中會出現(xiàn)這樣那樣的問題，這樣的問題我們也通過快速迭代，因為大家都是線上使用某個平臺，通過線上快速的迭代，以及我們在存儲的使用中如何把時間和空間策略很好地安排，身為廠商級的存儲設(shè)備，大部分是空間設(shè)備緊張，是高密度的，我們是稀疏的空間，我們通過大量的空間的運用得到時間上的高效。

此外，通過互聯(lián)網(wǎng)的部署，你看到全國的分布，這是在企業(yè)級存儲里面沒有想到的。

下面的話還會體現(xiàn)得比較實際，作為企業(yè)來講，以前有運維服務(wù)商提供給你，互聯(lián)網(wǎng)企業(yè)不管是上什么樣的技術(shù)，前幾年像Hadoop，你上了之后會出現(xiàn)什么問題，人員對新技術(shù)的運維的難度，都是我們面臨的問題。

公司永遠在討論一個存儲成本應(yīng)用的降低，我們今天講價值回報，不僅僅是說我今天要存多少數(shù)據(jù)，這個數(shù)據(jù)怎么快速地上傳或者下載，或者快速消費掉，今天我們看到的更多是數(shù)據(jù)經(jīng)濟，這些數(shù)據(jù)之后，比如說大數(shù)據(jù)的理論，怎么被我高效的經(jīng)濟服務(wù)產(chǎn)生高效的價值，所以今天是我們下邊的主要關(guān)注點。

我們覺得其實圍繞系統(tǒng)的邊界，要考慮到存儲系統(tǒng)誰是使用者？我們互聯(lián)網(wǎng)企業(yè)其實可以從幾個層面來看，比如說個人使用者，或者說企業(yè)內(nèi)部業(yè)務(wù)限制使用者，他們的期待是什么？

所以說我們整個的存儲架構(gòu)是隨著這種邊界的期待來去提供的高效服務(wù)成本，當然也有很多跟存儲企業(yè)廠商相似形的地方，比如說我們?nèi)罩敬鎯Γ覀円矔幸恍┓桨冈诶锩妗?/p>

我們看一下作為實體網(wǎng)站核心的業(yè)務(wù)流程，這是展開我們存儲話題的一個前置，視頻網(wǎng)站大家能看到電視劇、電影，是我們上臺上傳到服務(wù)中心，包括移動、包括PC，所以這一步上傳存儲完就轉(zhuǎn)碼，轉(zhuǎn)碼之后要分發(fā)到大家各地所在的運營商，這是一個分發(fā)的過程。

之前的服務(wù)流程就是圍繞一個基本的視頻網(wǎng)站的本質(zhì)服務(wù)去做的，整個的視頻上傳、分發(fā)，實際上我們總體一個思路是什么？

第二個，你后臺所有的上傳、存儲、轉(zhuǎn)碼等等能不能做好平臺化服務(wù)，為多個業(yè)務(wù)線介入和多條線服務(wù)。我們今天在看整個LeCloud分層，都在談他的存儲的虛擬化或者平臺的虛擬化服務(wù)，我不關(guān)心資源運用的是什么？

第一個，你這些能動性輸出給你外邊的客戶，今天可能很多的網(wǎng)站企業(yè)，各種各樣的傳統(tǒng)行業(yè)企業(yè)都想在自己的網(wǎng)站上輸出視頻，這個視頻能不能去輸出？這是我們一個重要的產(chǎn)品線和業(yè)務(wù)業(yè)務(wù)線，叫樂視魚視頻。

我只要去看出來你給我提供計算分區(qū)和子母分區(qū)，我們今天重點是對中間云存儲的分區(qū)如何談這個環(huán)節(jié)，在沒有談平臺化的時候，一開始我們遇到哪些問題，之前的存儲永遠是一個單向的線性邏輯，能讓大家看到我們的電影和電視劇，這里邊的軟件像開元的，比如說我們也用到過Hadoop，聽起來非常適合這個場景。

因為Hadoop適合大塊軟件，而且有很多數(shù)據(jù)場景，這個聽起來非常地好，有很多開元，你會發(fā)現(xiàn)用這些開元的不是因為成本低而用，一定要適合你的業(yè)務(wù)場景，用起來你會發(fā)現(xiàn)實際上成本都在后面，特別是我們每天數(shù)據(jù)增量在20個，你會發(fā)現(xiàn)我們經(jīng)常在婚戒中出現(xiàn)這樣那樣的問題，比如說網(wǎng)卡發(fā)動的時候有一個蕩機。

其實很多時候是由于Hadoop的技術(shù)過老，或者瓶頸導(dǎo)致的。比如說0.2、0.3的場景，一個文件我為了讓它更可行，你會發(fā)現(xiàn)很多文建會不可靠的情況下會斷掉，我們需要斷點續(xù)傳，你會發(fā)現(xiàn)我們說Hadoop里邊有一個機制，叫做文件制約。

你原來寫的上行的代碼是可以邏輯上續(xù)傳，基本上不成功，需要人工地刪除掉，這是我們遇見的很多客戶。

以前的版本里面，一個單技術(shù)的規(guī)模也要500T，你要有一個橫向擴展的過程，本來是加一個1的D，你應(yīng)該是加的集群，我一個集群是500T的話，我們線上運行了七到八個集群，擴一個集群意味著什么？

意味著我們運維成本的增多。我一個工程師維護一個集群就夠了，今天我要維護多個集群，而是多個集群的數(shù)據(jù)同步出現(xiàn)的問題。還出現(xiàn)宕機的問題，這些都是我們使用中的問題。

下面還有一些標準，比如說大家去訪問sDK接口的時候，你會發(fā)現(xiàn)如果你僅僅是一個應(yīng)用使你的文件存儲到系統(tǒng)里面，它要通過各自接口，先取你的數(shù)據(jù)，再去調(diào)度，整個效率非常低下，這只是數(shù)據(jù)進到存儲中，數(shù)據(jù)從存儲中出來你會發(fā)現(xiàn)有很多用法。

你調(diào)用他的SDK接口，你會發(fā)現(xiàn)直接油下載接口，那個下載接口是一個管理接口，根本經(jīng)不起大量數(shù)據(jù)，有的人一開始還在優(yōu)化我們的Jetty服務(wù)器。整個視頻網(wǎng)站還是一個場景，傳統(tǒng)的行業(yè)有他自己的解決方案，但這種解決方案都是S的模式。

傳統(tǒng)的通過自己的FTP的客戶端來上傳，甚至優(yōu)化之后寫出自己本地的客戶端去上傳我們的軟件。由于是內(nèi)網(wǎng)上傳，當時太原和北京兩地，當時的時候你會發(fā)現(xiàn)因為HDMS里面沒有業(yè)務(wù)進行數(shù)據(jù)管理，當時擴展的時候最多是目標端消冗，很多時候是Hadoop內(nèi)部的限制。

你最后特別是我當一個大文件去分片場的時候，在Hadoop里面去拼接文件的效率是相當?shù)偷模杀臼欠浅８叩摹Ｎ覀冋f斷點續(xù)傳也好，什么也好，我們當時上傳的業(yè)務(wù)程序非常復(fù)雜，今天發(fā)現(xiàn)了問題我們下一撥去解決，遇到的問題有很多。

特別是包括后面的問題，比如說一些業(yè)務(wù)方面的，剛才講到的上傳、存儲、轉(zhuǎn)碼、分發(fā)，這個是一個串行的邏輯，由于兩個借口同時傳一樣的視頻數(shù)據(jù)，就會出現(xiàn)不一致性的問題。

最后我們實際上實行了兩次解耦，任務(wù)引擎是我們邁向平臺化一個重要的，之前創(chuàng)建、查詢、充實、是一個隊列，它對所有的業(yè)務(wù)邏輯都可以進行編輯和編纂，解決了它之后我們下一步開始做我們整個自己的存儲平臺化開發(fā)。今天的存儲，有的人可能還是在物理的設(shè)備去談，每一層這里面的業(yè)務(wù)API都是不一樣的。

我們經(jīng)常講軟件定義網(wǎng)絡(luò)，或者說整個業(yè)務(wù)程序的業(yè)務(wù)場景適配問題都是需要靈活的API支持，實際上中間通過不同的P，首先我們把底下的物理做了一個集成，不管你用什么樣的方式，底下會有一個自由的管理，對于上層的調(diào)動，不管是流量也好，還是包括存儲的調(diào)動也好，是通過中間的控制層來做，而在我們右邊的圖你會發(fā)現(xiàn)很多S通過業(yè)務(wù)級的消費去做。

也就是說我們今天看平臺化的要點只要有兩個不同的視角，第一個會從互聯(lián)網(wǎng)企業(yè)內(nèi)部來講，今天大家看到的是內(nèi)部編輯群，明天可能會對外提供多個客戶服務(wù)。最后我們還可以給個人驅(qū)動，UGC，或者PGC，這是用戶的事情。

另外還有一個業(yè)務(wù)線，明天可能還會有新的業(yè)務(wù)線，或者說我的樂拍，我們很多業(yè)務(wù)線產(chǎn)品都會調(diào)動，用到你的平臺你就要為每一個平臺提供一個可靠的服務(wù)，他會期待給你更可靠地去傳輸，更快服務(wù)的響應(yīng)。

不管怎么說最后從平臺化的角度，我們要提一個共同服務(wù)視角，包括服務(wù)質(zhì)量、流量控制，不同級別的牌照都要做。這里邊也有場景，我們剛才劃了幾個場景，一個是內(nèi)網(wǎng)上傳，還有一個是外網(wǎng)上傳。我們企業(yè)用戶用云視頻服務(wù)的時候一定要用外網(wǎng)，這些都是平臺化說提出的更多的要求，不再是一個內(nèi)部應(yīng)用系統(tǒng)，而是一個對外普通的邊界。

首先看看平臺化里面做了哪些事情？我們把整個上傳機又原來JAW的，或者N的都是通過擴展模式，特別是對于云數(shù)據(jù)管理來看，這時我們做了很多文件的管理，從目標端消冗，到云端消冗。所以說我們還有一個整個的全網(wǎng)的部署，整個無中心的部署方案怎么來做，一會兒我們看看后邊遇到的問題。

企業(yè)級的云存儲很多人用到壓縮模塊，你會發(fā)現(xiàn)不管是增加費用的問題，關(guān)鍵是你有沒有必要去存儲，因為你存儲實際上就是一個時間和空間的策略問題，如果說為了讓空間上去壓縮、去少占東西，這一點我們沒有進任何壓縮模塊，我們還是該怎么進怎么進，我們速度要求得比較高。

下面是包括到我們進入企業(yè)云存儲時代的時候，我們云服務(wù)遞增的問題，所以說今天你可以看樂視網(wǎng)的平臺并沒有提供像亞馬遜那樣，我們互聯(lián)網(wǎng)數(shù)據(jù)里面經(jīng)常為了做一些分布式計算，是移動計算，而不是移動數(shù)據(jù)。還有一種是計算型的存儲集群，是Hadoop集群。

我們來看一下我們在全國的上傳機部署里面又做了幾次價格演進，首先我們假設(shè)這是一個武漢的節(jié)點，我們?yōu)榱耸C器你會發(fā)現(xiàn)這個出發(fā)點要求也是很互聯(lián)網(wǎng)、很經(jīng)濟化，你說SDMS有一個額外成本節(jié)點，你還可以做熱備，這個呢是非數(shù)據(jù)的資源，圍繞我們上傳節(jié)點，我們是圍繞無中心的節(jié)點來做，這是一套測試數(shù)據(jù)，這套測試數(shù)據(jù)跑的結(jié)果是什么？

這個無中心的狀態(tài)有一個坑，你用戶數(shù)據(jù)量不大的時候可以，數(shù)據(jù)量很大的時候，這種無中心的節(jié)點你自己去擴展新節(jié)點的時候，要做一次數(shù)據(jù)的平衡，這個數(shù)據(jù)平衡會把所有數(shù)據(jù)結(jié)點的網(wǎng)卡會占很大一部分。

特別是當其中會發(fā)現(xiàn)你的數(shù)據(jù)結(jié)點里面發(fā)現(xiàn)一些服務(wù)，會發(fā)現(xiàn)這個服務(wù)找不著，他會自動地去做平衡，壓力過大的情況下這個方案還是不可行的，我們只能當作一級存儲來用。這個在去年的DOIT的大會上我把它作為一個一體式的可以，整個云存儲的客戶來講大平臺的一方面。

我們新的業(yè)務(wù)點是其他四點加HDFS方案，這里面實際上也會有問題，當你剛才看到看這個集群的時候，是因為有上行、又下行，今天只是把上傳做了，把下載的劃掉，你上傳也會有問題，另外剛才也是說到了SDFS集群的問題，我們下一步解決方案通過我們通過一個有機云來解決，是我們自己分布式的系統(tǒng)。

我們在整個公網(wǎng)搭了一個雙環(huán)架構(gòu)的分存儲云，大家知道樂視做了很多業(yè)務(wù)、做了很多產(chǎn)品，左下角是對外提供服務(wù)的，右邊是一些個人用戶，個人用戶里邊有一些是終端戶和云存儲的用戶，大家知道樂視網(wǎng)有一個樂視網(wǎng)牌，這么多業(yè)務(wù)線都在用一套業(yè)務(wù)平臺。

我們來看一看在個人云存儲時代里邊有哪些變化，首先我們個人的UGC業(yè)務(wù)，它是這個行業(yè)最大的特點，我們上傳自己的數(shù)據(jù)，它將來會變成一個個人數(shù)據(jù)中心，進而變成基于個人數(shù)據(jù)的云存儲的服務(wù)，比如說音樂的服務(wù)、圖片的服務(wù)、視頻的服務(wù)等等，具體就不講太多了。

再往下看，個人云存儲數(shù)據(jù)里面會出現(xiàn)很多問題，比如多樣性的問題，個人已經(jīng)進入一比幾，你發(fā)現(xiàn)我們在技術(shù)環(huán)節(jié)里面，我們把所有的硬件的資源，包括產(chǎn)品性的資源都加到一起，兩種場景使用不同，第一個是數(shù)據(jù)量比較大，就是增量不大的場景，

因為我們每天的個人云存儲也在十個T左右，如果數(shù)據(jù)增量不明顯，有大數(shù)據(jù)的業(yè)務(wù)，底層架構(gòu)也是有優(yōu)化，我們建議大家把這種陣列作為內(nèi)存去做。你通過一個內(nèi)存擴展頁符合了內(nèi)存當硬盤，硬盤當內(nèi)存來使用。

今天我們做了這么多帶寬，包括技術(shù)優(yōu)化，我們整個的云存儲平臺還是根據(jù)業(yè)務(wù)場景，一個組織自由化的過程，這個圖時間關(guān)系不講太多了。關(guān)鍵還是看一下我們怎么解決HDFS的存在問題。右邊分三塊，第一個是真正的數(shù)據(jù)存儲，第二塊是數(shù)據(jù)存儲的引擎集群，包括數(shù)據(jù)的定位，位置在哪里放等等，這些都是通過存儲引擎來做。

第三個物理存儲區(qū)，可以實現(xiàn)無限吞吐。我們做一個測試吧，我們現(xiàn)在整個吞吐能力有限，我們來看這個數(shù)據(jù)，這里邊得到一個結(jié)論，大家可以看一下，這里邊你要知道你的瓶頸是在上傳機還是在存儲，通過這臺負載來看，整個理論值三百兆都差不多了，最后你會發(fā)現(xiàn)整個超時是在K14這臺使顯得，最后整個平靜上傳機數(shù)量比較大的時候，我們整個平靜就是在存儲集群。

我們整個瓶頸在存儲集群的話，我們通過每個區(qū)來擴，擴完之后你數(shù)據(jù)就比較小，我們整個集群現(xiàn)在已經(jīng)提供了一個美秒1500兆的集群，我們?yōu)槭裁匆鏊呐_打壓機，這個基礎(chǔ)上能接近1500兆每秒的大值，現(xiàn)在我們期望做三百個區(qū)，每個區(qū)有這樣一個節(jié)點，今天我們這個指標還可以去擴，只要你有足夠的機器，可以隨便去擴，這個是我們一個核心的東西。最后講一些數(shù)據(jù)經(jīng)濟下的東西，我們在技術(shù)上支持了不管是上傳的瓶頸、存儲的瓶頸，以及有一個策略的時候，我們在業(yè)務(wù)上怎么樣讓我們的用戶達到更高的數(shù)據(jù)服務(wù)體驗，這里邊實際上各種數(shù)據(jù)我們在網(wǎng)上能夠使用它的商用的，音樂你要聽、視頻你要看，這些我們通過網(wǎng)傳的方式去做的，全網(wǎng)不可靠的情況下，我們把內(nèi)部業(yè)務(wù)量增加到產(chǎn)品級，第一個是數(shù)據(jù)的存儲，第二個是整個數(shù)據(jù)的服務(wù)體驗，各種不同的分析數(shù)據(jù)，第三個是達到整個場景的服務(wù)模擬等等，時間關(guān)系就不多介紹了。