大數(shù)據(jù)時代，PC互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)以及社交化平臺的發(fā)展，讓數(shù)據(jù)呈現(xiàn)幾何化、爆炸式增長。而隨著數(shù)據(jù)來源渠道的增多，網(wǎng)絡(luò)的數(shù)據(jù)也不再是單一的數(shù)據(jù)類型，大量的非結(jié)構(gòu)化數(shù)據(jù)涌現(xiàn)改變了數(shù)據(jù)的組成模式。如今大數(shù)據(jù)使得整個互聯(lián)網(wǎng)科技都面臨新一輪的洗牌，如何利用大數(shù)據(jù)將成為決定企業(yè)未來命運(yùn)的關(guān)鍵!
那么大數(shù)據(jù)究竟有多大呢?可能很多人會問這個問題。2013年，世界上存儲的數(shù)據(jù)預(yù)計能達(dá)到約1.2澤(約12億TB)字節(jié)。12億TB是個什么概念?如果把這些數(shù)據(jù)全存儲于標(biāo)準(zhǔn)的光盤，這些光盤可以堆成五堆，每一堆都可以伸到月球。而如果把這些數(shù)據(jù)存儲于1TB容量的硬盤中，那么將需要12億塊，這些硬盤可以分為五堆，每堆相當(dāng)于長城的長度(6700公里)。
云存儲是伴隨云計算發(fā)展起來的一種新興的存儲模式，對于很多人來說是一個相對陌生的領(lǐng)域。其實(shí)云存儲技術(shù)早已深入到我們的生活和工作中，只是很多人還沒有意識到它的存在罷了，目前云存儲技術(shù)已經(jīng)在大數(shù)據(jù)解決之道方面有了一些案例。隨著大數(shù)據(jù)時代的來臨，云存儲將擔(dān)負(fù)更多的任務(wù)和使命
微軟SkyDrive云存儲
近日360網(wǎng)盤的推出以及與百度1TB競爭升級的事件相信大家都有所耳聞!沒錯，這些網(wǎng)盤其實(shí)就是最典型的云存儲應(yīng)用。這些云存儲服務(wù)商為用戶提供定量的存儲空間，讓用戶實(shí)現(xiàn)通過PC、手機(jī)等終端進(jìn)行訪問等需求。網(wǎng)盤、云盤這些云存儲技術(shù)是最典型也是最初級的云存儲技術(shù)，如今一些企業(yè)已經(jīng)將云存儲技術(shù)有了更深層次的發(fā)展和創(chuàng)新，例如迅雷的云加速功能。
2013年互聯(lián)網(wǎng)大會迅雷CEO鄒勝龍將云存儲加速帶來的改變形容為：“讓大數(shù)據(jù)像水一樣的自由流淌。”在當(dāng)時聽到這句話的時候，我對這句話并不理解，據(jù)我所知，迅雷隨身盤這種典型的云存儲模式并沒取得成功，而且即將在2013年9月1號停止支持，那么鄒勝龍先生是為何在大會上反反復(fù)復(fù)強(qiáng)調(diào)迅雷云加速技術(shù)呢?又是如何讓大數(shù)據(jù)能夠自由流動呢?
迅雷對云存儲技術(shù)有了更深層次的應(yīng)用
帶著這些不解，筆者翻看了迅雷云加速的一些業(yè)務(wù)。目前迅雷已經(jīng)擁有高速通道、離線下載、迅雷云播、迅雷網(wǎng)游加速器、手機(jī)迅雷等多個產(chǎn)品，并且覆蓋PC、手機(jī)、平板、TV四屏，可以說迅雷如今基本完成了對業(yè)務(wù)的全面布局。
根據(jù)筆者對這些業(yè)務(wù)的研究發(fā)現(xiàn)，在這些業(yè)務(wù)中，如離線下載、高速通道等很多服務(wù)都是基于云存儲功能而實(shí)現(xiàn)的，可以說這些技術(shù)都是云存儲技術(shù)的一種創(chuàng)新和演進(jìn)。迅雷對云存儲技術(shù)有了更深層次的應(yīng)用，并不只是局限于傳統(tǒng)的數(shù)據(jù)存取和數(shù)據(jù)保護(hù)，更是將云存儲技術(shù)應(yīng)用到下載、視頻、網(wǎng)友等領(lǐng)域，是云存儲技術(shù)應(yīng)用到大數(shù)據(jù)方面的一個全新創(chuàng)新!
迅雷業(yè)務(wù)種類很多
迅雷利用云存儲技術(shù)確保用戶能夠獲得流暢、連貫的體驗(yàn)，而且還推出了根據(jù)賬號實(shí)現(xiàn)云端同步的功能，可以說迅雷如今已經(jīng)利用云存儲實(shí)現(xiàn)了整個產(chǎn)品的布局，讓大數(shù)據(jù)之間的傳輸更自由。那么迅雷是如何利用云存儲技術(shù)的創(chuàng)新促進(jìn)大數(shù)據(jù)之間的流動的呢?
下面我們就通過離線下載業(yè)務(wù)來看一下講解下迅雷的云存儲創(chuàng)新之處。
離線下載是迅雷云加速中的一個重要的功能，當(dāng)下載的時候遇上冷僻的資源時，由于中國網(wǎng)絡(luò)資源復(fù)雜，如果從原始服務(wù)器下載到本地，可能由于資源少、距離遠(yuǎn)等原因使得下載的速度不高，這樣使用普通下載就會浪費(fèi)大量的時間和電費(fèi)。而當(dāng)資源好，速度高的時候，則會影響用戶正常的網(wǎng)絡(luò)問題，造成別的任務(wù)無法完成。
迅雷離線下載每傳輸完一個文件，就會記錄文件資源的地址，CID值，以及文件其他的特征信息。如此積累，迅雷便保存了大量文件的特征信息，當(dāng)再有用戶下載相同的文件時，迅雷云加速服務(wù)不再需要從資源所在的服務(wù)器下載文件，而是從迅雷云加速服務(wù)內(nèi)部的資源中直接復(fù)制到用戶的離線傳輸文件夾里，這樣，一個幾GB 甚至幾十GB 的大文件在瞬間就傳輸完成了，因此很多人覺得離線下載極快，叫做‘秒殺’。
云存儲后臺需要什么樣的支持？
“秒殺”下載并不是迅雷服務(wù)器神通廣大，而是迅雷利用云存儲技術(shù)的一種創(chuàng)新。這樣能節(jié)省大量帶寬用于傳輸迅雷云加速網(wǎng)絡(luò)上不存在的新資源。正是利用這樣的方法，迅雷不斷積累資源，不斷索引資源。但很長時間都沒有人再下載的文件，迅雷云加速服務(wù)也會刪除這個文件的索引信息，減少服務(wù)器空間占用。
離線下載業(yè)務(wù)實(shí)現(xiàn)了數(shù)據(jù)之間的快速傳輸，在大數(shù)據(jù)時代，讓人們之間的數(shù)據(jù)流動性更歡快。但目前迅雷離線下載只提供給會員使用。如果你是會員用戶，那么就可以依靠迅雷的服務(wù)器強(qiáng)大的下載功能下載文件，或者直接從迅雷服務(wù)器上直接下載別人已經(jīng)下載的文件，等于復(fù)制粘貼，這樣就節(jié)省了大量的時間，促進(jìn)了數(shù)據(jù)間的流動。
云存儲服務(wù)器需要強(qiáng)大的后臺支持
目前迅雷每個月付費(fèi)會員高達(dá)400多萬，而且在400多萬用戶背后還有近3億的免費(fèi)用戶，這些用戶也可以用迅雷的離線下載業(yè)務(wù)，這必然需要強(qiáng)大的云存儲平臺支持，給用戶提供離線下載業(yè)務(wù)，而且還要滿足數(shù)據(jù)的文件總量的增長以及用戶流量的激增的挑戰(zhàn)。同時云存儲平臺需要不斷的對其服務(wù)器平臺進(jìn)行存儲容量、系統(tǒng)寬帶，I/O的需求增加。
下面我們就來討論下什么樣的平臺才能滿足迅雷的需求。
要想搭建能夠滿足用戶需求的云存儲平臺，我們首先需要先了解離線下載平臺的原理：
(1)用戶通過客戶端或Web界面向服務(wù)器提交一個下載請求。
(2)服務(wù)器端接受請求，首先查詢用戶提交的下載鏈接是否被下載過。如果有，直接把已下載的數(shù)據(jù)文件(或只是文件的鏈接)放入用戶服務(wù)器端的在線空間。如果沒有，開啟多線程實(shí)施下載(或用某公司自己特有的P2P方式)。
(3)下載完成后，用戶在線登錄到在線空間，取回下載的文件。其間也可以采用迅雷提供的P2P方式，從已下載或正在下載相同文件的用戶那里取得數(shù)據(jù)。
(4)離線下載多針對冷門資源，或資源少的文件。待服務(wù)器端不是替用戶下載完成后，用戶還需要利用下載軟件從服務(wù)器上下載文件。相比直接下載，增加了下載資源速度，節(jié)約了時間。
如何搭建離線下載支持平臺？
那么需要多少服務(wù)器才能滿足迅雷400萬的會員以及將近3億的普通用戶需求呢?筆者開始誤以為這個業(yè)務(wù)會需要很多服務(wù)器支持。但是通過對迅雷的離線下載平臺進(jìn)行研究后，發(fā)現(xiàn)支持離線下載的服務(wù)器并沒有我們想象的那么多。畢竟這些用戶并不可能同時下載數(shù)據(jù)，而且每個用戶的下載也不可是都飽和，冷門的數(shù)據(jù)也并不是一直存儲，所以對服務(wù)器的需求并沒有想象的那么多。
下面我們來細(xì)分析一下這個平臺的組成，可能大家就會明白為何并不需要那么的服務(wù)器就能夠滿足用戶需求了。
離線平臺需要離線下載服務(wù)器、WEB服務(wù)器、數(shù)據(jù)存儲服務(wù)器三個平臺共同支持。這三個平臺都需要出色的性能支持，在處理器和內(nèi)存方面并沒有區(qū)別，主要區(qū)別是在存儲硬盤方面的不同。
下面我們從性價比和需求方面來預(yù)測一下三種系統(tǒng)在存儲方面的需求：
離線下載服務(wù)器主要提供的速度下載，所以對服務(wù)器的硬盤性能和容量要求較高。選擇SAS硬盤為宜;數(shù)據(jù)存儲服務(wù)器提供存儲功能，對存儲的容量要求高，但是對速度沒有太大的需求。采用SATA硬盤為宜;Web服務(wù)器對硬盤的速度和性能要求高，但是對容量的大小沒有太大的要求。采用SAS硬盤既可滿足。
利用對云存儲技術(shù)的改進(jìn)和創(chuàng)新，迅雷解決了離線下載業(yè)務(wù)的支持問題。同時這種技術(shù)也能夠勝任多種業(yè)務(wù)，如數(shù)據(jù)存儲、數(shù)據(jù)庫應(yīng)用、高性能計算、計算機(jī)集群等領(lǐng)域。云存儲技術(shù)讓數(shù)據(jù)的存儲更簡單，靈活性更強(qiáng)。在大數(shù)據(jù)來臨之際，云存儲技術(shù)的創(chuàng)新與發(fā)展必將促使大數(shù)據(jù)發(fā)生新的革命，讓數(shù)據(jù)真正的實(shí)現(xiàn)自由流動。
京公網(wǎng)安備 11010502049343號