大數據時代的到來,是全球知名咨詢公司麥肯錫最早提出的,麥肯錫稱:“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。”
《互聯網進化論》一書中提出“互聯網的未來功能和結構將于人類大腦高度相似,也將具備互聯網虛擬感覺,虛擬運動,虛擬中樞,虛擬記憶神經系統” ,并繪制了一幅互聯網虛擬大腦結構圖。
大數據與云計算和物聯網的關系
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據,云計算,物聯網和移動互聯網與傳統互聯網之間的關系。
從這幅圖中我們可以看出:
物聯網對應了互聯網的感覺和運動神經系統。
云計算是互聯網的核心硬件層和核心軟件層的集合,也是互聯網中樞神經系統萌芽。
大數據代表了互聯網的信息層(數據海洋),是互聯網智慧和意識產生的基礎。
包括物聯網,傳統互聯網,移動互聯網在源源不斷的向互聯網大數據層匯聚數據和接受數據。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左右。很多用戶把多個數據集放在一起,形成PB級的數據量。同時從數據源來談,大數據是指這些數據來自多種數據源,以實時、迭代的方式來實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他通過大家日常網絡留下痕跡和腳印獲取大量的數據。 大數據與云計算和物聯網的關系
物聯網產生大數據。美國人前幾年醫院一年產生500個數據,IMT1。4TB數據等各種的數據通過傳感器產生,也有在網上直接產生的,我們現在處于大數據時代,物聯網一分鐘可以產生非常多的東西,蘋果下載2萬余次,一分鐘會上傳10萬條新微博,全世界物聯網上虛擬網絡上,產生了大量的數據。 大數據與云計算和物聯網的關系
國外的這些公司數據量不一定有中國大,中國淘寶網在雙十一一天創收10。5億,新浪微博晚上有100萬以上的響應請求,中國聯通也進行大數據搜集,他們以前給用戶每一個月發一個帳單,很多用戶認為我沒有上這么多,中國聯通改制就詳細記錄客戶的上網記錄一秒鐘83萬條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發動機引擎收據588,企業資源管理客戶關系管理等現在是大數據,企業本身也是每時每刻產生大量數據。 大數據與云計算和物聯網的關系
2012年IDC公司指出在2005年由機器產生的數據占到數據總量的11%,2020增加到42%。比如說醫療,現在到醫院看病都要CT,清晰度很高300多兆,一個病人CT影響往往多大兩千幅,數據量已經到了幾十個GB,如今中國大城市的醫院每天門診上完人,全國每年住院已經達到了兩億人次,按照醫療行業的相關規定,一個患者的數據通常需要保留50年以上。
物聯網產生的大數據與一般的大數據有不同的特點。物聯網的數據是異構的、多樣性的、非結構和有噪聲的,更大的不同是它的高增長率。物聯網的數據有明顯的顆粒性,其數據通常帶有時間、位置、環境和行為等信息。物聯網數據可以說也是社交數據,但不是人與人的交往信息,而是物與物,物與人的社會合作信息。
物聯網的混搭將使物聯網的數據變得更有用,將物聯網感知的數據與通過社會媒體獲得的數據結合,也就是人跟機器的社會聯網,將使決策更科學。
與隱私與法律有關的特殊性,誰是物聯網數據的擁有者,通過物聯網可以控制家用電器。
最后,大數據助力物聯網,不僅僅是收集傳感性的數據,實物跟虛擬物要結合起來。今天北京交通堵塞,但是并不知道堵塞原因,如果政府發布消息和市民微博發布消息結合起來就知道發生什么事,物聯網要過濾,過濾要有一定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總有一天會說準。
物聯網數據挖掘涉及到數據存儲,從實物虛擬物獲取存儲,然后進行一些虛擬化和找出數據摘要,是要加標簽的。
數據挖掘模式,合并壓縮、清洗過濾、格式轉換,法階段數據分析、知識發現、可視化、數據階段,關聯規則,分類、聚類、序列、路徑。因此后面工作更大更重要而且更難。 大數據與云計算和物聯網的關系
最近大家關注PM2.5,另外云南西北邊、西川西南邊干旱容易發生火災,利用雷達、飛機可以搜集數據,也需要進行分析,然后產生判斷。
大數據與云計算和物聯網的關系
在水面取樣,通過衛星發出去,利用云計算、中心數據挖掘,河流的環境污染,數字化的模式,我們可以發現有的地方有環境污染,所污染本身需要異源數據,除了傳感器、物聯網數據有噪聲的不干凈的,所以需要多種數據的結合,歷史數據的挖掘,然后進行分析預感、預警,所以數據后面的處理,食品現在也是大家所關注的,手機拍下來食品到后臺去查,是哪個公司的食品,在什么地方生產,食品生產日期等等,包括食品安全不安全,營養成分怎么樣,食品監控,運用后臺數據等等。最近禽流感流行,怎么去監測,凡是產生流感病人在網上尋找,吃什么藥好,哪個地方看病好,或者微博交流。
大數據與云計算和物聯網的關系
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這樣看上去每時每刻只有能夠監控很小一部分內容,通過軟件把整條路上變成一個視頻,再進一步我把所有馬路都通過大數據軟件后臺分析組成圖象,這圖象像上海市領導人坐飛機俯視地面一樣。所以這些都是后臺數據分析。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條刷卡記錄,地鐵每天1千萬人次,分析這些數據可改善城市交通狀況。新加坡的公共交通部門十年來已經使用個人位置數據做交通需求的預測。荷蘭的交通部門利用移動電話的定位功能預測汽車和行人的擁堵狀況。
最后講M2M的總量,全世界的M2M到2011年將有20億,2020年180億,預測2020年有500億連接,主要是在消費電子和智能建筑兩個領域,將占70%。
2011年M2M全市場為2000億美元,2022年12000億美元,三分之二收入來自設備與安裝,三分之一來自服務,2020年最大的M2M市場在中國和美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網將成為下一個萬億元級別的信息產業業務。
2014年10月22-23日,第二屆國際物聯網暨傳感技術與應用高峰論壇在杭州召開,參加論壇的100多位專家學者和1000多位企業代表、行業精英,將一起共話物聯網聯手大數據帶來的前景。組委會為了適應國際合作的需求,還配備了專業的同聲傳譯,保證交流無阻。