為何叫“大數(shù)據(jù)”？
數(shù)據(jù)體量大（VOLUMES）
代指大型數(shù)據(jù)集，一般在10TB規(guī)模左右。但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個(gè)數(shù)據(jù)集放在一起，已經(jīng)形成了PB級(jí)的數(shù)據(jù)量。未來(lái)智能家居領(lǐng)域也有許多這種企業(yè)，目前國(guó)內(nèi)智能家居領(lǐng)域的數(shù)據(jù)量級(jí)總和已經(jīng)達(dá)到100TB以上，非結(jié)構(gòu)化數(shù)據(jù)規(guī)模正在以更快的速度增長(zhǎng)。
數(shù)據(jù)類別大（variety）
數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。也就是說(shuō)，大數(shù)據(jù)最重要的變化是處理對(duì)象由結(jié)構(gòu)化數(shù)據(jù)拓展到了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，每年非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)總量較結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)率高出10到50倍。
非結(jié)構(gòu)化數(shù)據(jù)可以看成所有無(wú)法簡(jiǎn)單轉(zhuǎn)化到結(jié)構(gòu)化關(guān)系型數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)如企業(yè)的郵件和其它形式的電子通訊記錄；網(wǎng)站上的資料，包括點(diǎn)擊量和社交媒體相關(guān)的內(nèi)容；還有設(shè)備產(chǎn)生的數(shù)據(jù)，如RFID、GPS傳感器產(chǎn)生的數(shù)據(jù)、日志文件等。
數(shù)據(jù)處理速度快（Velocity）
在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。
數(shù)據(jù)真實(shí)性高（Veracity）
隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。
小貼士
TB是一個(gè)計(jì)算機(jī)存儲(chǔ)容量的單位，它等于2的40次方，或者接近一萬(wàn)億個(gè)字節(jié)，即一千千兆字節(jié)。
PB是數(shù)據(jù)存儲(chǔ)容量的單位，它等于2的50次方個(gè)字節(jié)，或者在數(shù)值上大約等于1000個(gè)TB。
數(shù)據(jù)單位從小到大為：B.KB.MB.GB.TB.PB。1PB=1024TB，依次類推。
TB、PB依然很難理解，我們舉些例子。
美國(guó)國(guó)會(huì)圖書館在2011年4月之前總共收集了235TB的數(shù)據(jù)。
假設(shè)手機(jī)播放MP3的編碼速度為平均每分鐘1MB，而1首歌曲的平均時(shí)長(zhǎng)為4分鐘，那么1PB歌曲可以連續(xù)播放2000年。
如果智能手機(jī)相機(jī)拍攝相片的平均大小為3MB，打印照片的平均大小為8.5英寸，那么總共1PB的照片的并排排列長(zhǎng)度就達(dá)到48000英里，大約可以環(huán)繞地球2周。
人類功能記憶的容量預(yù)計(jì)在1.25個(gè)TB。這意味著，800個(gè)人類記憶才相當(dāng)于1個(gè)PB。1PB足夠存儲(chǔ)整個(gè)美國(guó)人口的DNA，而且還能再克隆2倍。
如果以每秒1個(gè)位的速度數(shù)一下1PB所包含的位數(shù)，那么一個(gè)人需要2.85億年才能數(shù)完，如果每秒數(shù)1個(gè)字節(jié)，那么一個(gè)人需要數(shù)357萬(wàn)年。
谷歌為用戶提供了超過(guò)20PB（215億MB）的地圖影像——包括衛(wèi)星圖片、航拍照片和360度街景圖片。
即使在2008年，谷歌每天處理的數(shù)據(jù)已經(jīng)達(dá)到20PB，一年就是7300PB。
社交媒體網(wǎng)站早就開(kāi)始生成PB級(jí)數(shù)據(jù)，F(xiàn)acebook在2012年前已經(jīng)存儲(chǔ)了100PB數(shù)據(jù)。
宇宙每天將生成1376 PB數(shù)據(jù)，相當(dāng)于每天傳輸?shù)娜蚧ヂ?lián)網(wǎng)流量的兩倍。
大數(shù)據(jù)的挑戰(zhàn)：
總結(jié)：
數(shù)據(jù)本身是資產(chǎn)，所有大數(shù)據(jù)的屬性，包括數(shù)量、速度、多樣性等反映了數(shù)據(jù)庫(kù)不斷增長(zhǎng)的復(fù)雜性。
大數(shù)據(jù)存儲(chǔ)和分析
大數(shù)據(jù)分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，屬于兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域，大數(shù)據(jù)存儲(chǔ)用于大數(shù)據(jù)分析。大數(shù)據(jù)存儲(chǔ)重點(diǎn)在于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái)；大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。目前無(wú)論是大數(shù)據(jù)存儲(chǔ)還是大數(shù)據(jù)分析，都已經(jīng)成為幫助企業(yè)主業(yè)務(wù)的關(guān)鍵應(yīng)用。在智能家居領(lǐng)域，例如家庭數(shù)字網(wǎng)絡(luò)攝像頭的云端存儲(chǔ)，音視頻設(shè)備背后的云端流媒體，家庭電量實(shí)施云端監(jiān)測(cè)等等，都在大規(guī)模使用云存儲(chǔ)和分析技術(shù)。
智能家居云存儲(chǔ)方式
高度智能化的智能家居涉及數(shù)據(jù)量非常龐大，傳統(tǒng)存儲(chǔ)技術(shù)無(wú)法滿足，所有云存儲(chǔ)技術(shù)的逐漸發(fā)展與應(yīng)用也為智能家居的發(fā)展迎來(lái)了廣泛的關(guān)注。
下面舉例其中一種云存儲(chǔ)方式：
新一代的面向智能家居大數(shù)據(jù)云存儲(chǔ)系統(tǒng)主要由邏輯控制模塊、用戶訪問(wèn)模塊、存儲(chǔ)模塊、文件讀/寫模塊和面向智能家居的大數(shù)據(jù)云存儲(chǔ)模塊。
邏輯控制模塊：是整個(gè)面向智能家居大數(shù)據(jù)云存儲(chǔ)系統(tǒng)的核心，是邏輯處理的樞紐，各業(yè)務(wù)請(qǐng)求均在該模塊中被處理。
用戶訪問(wèn)模塊是智能家居中的用戶和云儲(chǔ)存系統(tǒng)交互的紐帶，利用該模塊可以透明地為用戶提供底層實(shí)現(xiàn)的各項(xiàng)功能。
存儲(chǔ)模塊為新一代智能家居云存儲(chǔ)系統(tǒng)提供了透明的存取功能。文件讀/寫模塊主要負(fù)責(zé)將上層邏輯處理和底層存儲(chǔ)進(jìn)行隔離。
邏輯結(jié)構(gòu)：請(qǐng)求處理后傳輸至存儲(chǔ)模塊，再由存儲(chǔ)模塊發(fā)送到面向智能家居的大數(shù)據(jù)云存儲(chǔ)模塊，在該模塊中實(shí)現(xiàn)大數(shù)據(jù)云存儲(chǔ)。
每個(gè)數(shù)據(jù)的處理流程：
每一個(gè)數(shù)據(jù)都有一個(gè)ETL，就是抽取、轉(zhuǎn)化，然后去加載，包括做數(shù)據(jù)的清洗。如果數(shù)據(jù)大批量進(jìn)來(lái)，有些數(shù)據(jù)可能是有問(wèn)題的。比如說(shuō)，好多地址會(huì)寫得比較模糊，如果要搜索北京這個(gè)詞的時(shí)候，數(shù)據(jù)倉(cāng)庫(kù)里可能只有一個(gè)京字，這些都要統(tǒng)一整理成一個(gè)，比如說(shuō)北京，這樣后面分析就會(huì)簡(jiǎn)單，比如山東，有人會(huì)輸入“魯”字來(lái)進(jìn)行搜索，而不是山東，這就需要在大數(shù)據(jù)分析前期做好數(shù)據(jù)清理工作，做規(guī)范化，這樣后面的數(shù)據(jù)分析起來(lái)就方便很多。
大數(shù)據(jù)的分布式計(jì)算：
通常用于數(shù)據(jù)分析平臺(tái)的分布式計(jì)算平臺(tái)內(nèi)的存儲(chǔ)不是我們以往面對(duì)的網(wǎng)絡(luò)附加存儲(chǔ)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)，而通常是內(nèi)置的直連存儲(chǔ)(NAS)以及組成集群的分布式計(jì)算節(jié)點(diǎn)，無(wú)論是數(shù)據(jù)部署安全、保護(hù)和保存流程都非常復(fù)雜。但大數(shù)據(jù)分析中包含各種快速成長(zhǎng)中的技術(shù)，簡(jiǎn)單用分布式技術(shù)對(duì)其定義也并不準(zhǔn)確。
大數(shù)據(jù)在智能家居領(lǐng)域的貢獻(xiàn)
我們每個(gè)人都是數(shù)據(jù)的貢獻(xiàn)者，全球平均每人大概攜帶200GB的數(shù)據(jù)，而智能家居作為圍繞人與設(shè)備的新興領(lǐng)域，大數(shù)據(jù)對(duì)于相輔相成的貢獻(xiàn)也是不言而喻的。我們談?wù)摰囊欢ㄊ怯袃r(jià)值性的采集，如果我們都不知道哪些數(shù)據(jù)要采集或者放棄，最終搭建數(shù)據(jù)分析系統(tǒng)的時(shí)候，可能會(huì)不知道怎么搭建，也不知道用什么技術(shù)，甚至收集到許多無(wú)用的信息純屬浪費(fèi)時(shí)間。我們可以把企業(yè)的運(yùn)營(yíng)、產(chǎn)品、用戶使用情況、設(shè)備信息都存儲(chǔ)，但是提取分析要有清晰條理的規(guī)劃，最終的數(shù)據(jù)價(jià)值才有意義。
智能家居系統(tǒng)的所產(chǎn)生數(shù)據(jù)的包含面非常廣，既有硬件傳感器的數(shù)據(jù)、也有硬件本身的數(shù)據(jù)運(yùn)行狀態(tài)、也有用戶和硬件交互的數(shù)據(jù)，還有用戶通過(guò)APP等客戶端產(chǎn)生的數(shù)據(jù)、更有用戶自身的使用習(xí)慣和生活場(chǎng)景的數(shù)據(jù)等等，這就導(dǎo)致整體的智能家居所產(chǎn)生數(shù)據(jù)的積累速度和量都很大。智能家居企業(yè)初期圍繞業(yè)務(wù)驅(qū)動(dòng)，下面一些數(shù)據(jù)是必須要收集的，建議采用分布式大規(guī)模的云存儲(chǔ)架構(gòu)，以滿足未來(lái)企業(yè)高速發(fā)展和創(chuàng)新需求的必然趨勢(shì)。
智能家居大數(shù)據(jù)的采集內(nèi)容：
智能家居大數(shù)據(jù)的采集內(nèi)容，包括APP的使用情況、故障自診斷信息、服務(wù)運(yùn)營(yíng)信息、用戶畫像、設(shè)備使用狀態(tài)、用戶使用行為、APP交互行為、用戶信息數(shù)據(jù)、設(shè)備功能信息、用戶信息、設(shè)備功能信息、設(shè)備日志、APP日志、子設(shè)備參數(shù)與運(yùn)行狀態(tài)等等其他數(shù)據(jù)。
智能家居為何需要大數(shù)據(jù)？
智能家居是多領(lǐng)域融合的切入點(diǎn)，是社會(huì)家庭管理的支撐點(diǎn)，是民生服務(wù)的新亮點(diǎn)。物聯(lián)網(wǎng)生產(chǎn)大數(shù)據(jù)，大數(shù)據(jù)支持智能家居，從智能家居到數(shù)據(jù)再到智能化，構(gòu)成了從感知到認(rèn)知的全過(guò)程。大數(shù)據(jù)是智能硬件競(jìng)爭(zhēng)的制高點(diǎn)，可以幫助硬件廠商挖掘用戶的設(shè)備使用行為，讓廠商可以了解自己的用戶、優(yōu)化產(chǎn)品策略和市場(chǎng)策略。還可以對(duì)用戶進(jìn)行學(xué)習(xí)，建立用戶畫像，針對(duì)不同的用戶提供個(gè)性化智能體驗(yàn)，給不同的用戶提供個(gè)性化優(yōu)惠，加大二次銷售。也可以做設(shè)備活動(dòng)狀態(tài)的分析、故障率的分析，這樣來(lái)指導(dǎo)產(chǎn)品、硬件后面怎么做迭代層、怎么做升級(jí)，包括知道用戶喜歡用什么功能、用戶在什么時(shí)間段喜歡用這個(gè)功能，知道后面營(yíng)銷策略針對(duì)哪些地域作為重點(diǎn)。利用大數(shù)據(jù)可以挖掘出非常多的價(jià)值，這需要在IoT領(lǐng)域不斷地去探索。
云計(jì)算與大數(shù)據(jù)
想獲得海量數(shù)據(jù)，設(shè)備必須接云，智能家居領(lǐng)域?qū)⒚鎸?duì)的將是千億乃至萬(wàn)億的設(shè)備。如果在云安全部署還未成熟的情況下，就將這些設(shè)備盲目入云，將會(huì)導(dǎo)致不可想象的災(zāi)難。所以數(shù)據(jù)前提是云安全，所以云計(jì)算的方式方法至關(guān)重要。
云計(jì)算和大數(shù)據(jù)是一個(gè)硬幣的兩面，云計(jì)算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計(jì)算的一個(gè)殺手級(jí)應(yīng)用。云計(jì)算是大數(shù)據(jù)成長(zhǎng)的驅(qū)動(dòng)力，而另一方面，越來(lái)越多的數(shù)據(jù)需要云計(jì)算去處理，所以云計(jì)算與大數(shù)據(jù)是相輔相成的，在智能家居產(chǎn)業(yè)中體現(xiàn)得更加淋漓盡致。
未來(lái)通過(guò)云計(jì)算對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)分析和準(zhǔn)確提取的同時(shí)，需要深度學(xué)習(xí)和深度挖掘數(shù)據(jù)，模擬學(xué)習(xí)用戶行為，實(shí)現(xiàn)更加“聰明”的智能體驗(yàn)。
編輯點(diǎn)評(píng)
很多企業(yè)，尤其的是大的國(guó)企在做智能家居時(shí)，會(huì)上很大的決心和項(xiàng)目，對(duì)于海量數(shù)據(jù)收集他們也是很感興趣。追隨潮流搭建大數(shù)據(jù)平臺(tái)后，實(shí)現(xiàn)的結(jié)果是PB級(jí)存儲(chǔ)能力和秒級(jí)處理能力，也許并不接入公有云去收集到大量數(shù)據(jù)，最終只是先存起來(lái)，等需要的時(shí)候再用，其實(shí)這種思路是沒(méi)有必要的。隨著大數(shù)據(jù)技術(shù)的不斷改進(jìn)，其靈活性、透明性和魯棒性會(huì)不斷提升，有效的存儲(chǔ)、管理和維護(hù)形式也在不斷的發(fā)生著變化，可行性和實(shí)用性才是大數(shù)據(jù)的本質(zhì)。如果不能利用數(shù)據(jù)產(chǎn)生價(jià)值，將非常可惜，也將是一個(gè)災(zāi)難，數(shù)據(jù)產(chǎn)生越多，存儲(chǔ)空間、浪費(fèi)的資源也就越多。但總體來(lái)看，數(shù)據(jù)運(yùn)營(yíng)不論以間接生產(chǎn)力還是直接生產(chǎn)力的方式體現(xiàn)，最終的都會(huì)成為下一個(gè)時(shí)代的新浪潮。
京公網(wǎng)安備 11010502049343號(hào)