大數(shù)據(jù)很火，也都認(rèn)可它很重要。那都有哪些細(xì)分領(lǐng)域在用實(shí)時大數(shù)據(jù)分析?大數(shù)據(jù)分析目前有哪些主流技術(shù)?大數(shù)據(jù)分析有什么挑戰(zhàn)?
上海云人科技有限公司，專注于大數(shù)據(jù)實(shí)時分析。CEO吳朱華，2006年、2009年都在中關(guān)村軟件園，IBM中國研究院做一些云操作系統(tǒng)的開發(fā)工作。2009年年底，從中國IBI中國研究院離職。2010年回到上海，寫一本書《云計(jì)算核心技術(shù)剖析》。2011年，在上海組建云人科技的團(tuán)隊(duì)，推出了一個產(chǎn)品叫Yun table。以下是他在“2013云世界大會”上的分享：
大數(shù)據(jù)在各行業(yè)的機(jī)遇如下：金融證券(高頻交易、量化交易)，電信業(yè)務(wù)(支撐系統(tǒng)、統(tǒng)一營帳、商業(yè)智能)，能源(電廠電網(wǎng)監(jiān)控、用電信息采集分析)，互聯(lián)網(wǎng)與電商(用戶行為分析、商品模型分析、信用分析)，其他行業(yè)如智慧城市、物聯(lián)網(wǎng)。
經(jīng)典的案例：
智慧城市，一個城市，大概有十幾萬的攝像頭在城市里面，每秒都會發(fā)數(shù)據(jù)到云端的數(shù)據(jù)中心里面，每天有TB級別的數(shù)據(jù)需要處理，并且需要實(shí)時的反饋，這個場景需要實(shí)時處理的技術(shù)。
車聯(lián)網(wǎng)，我們有一個客戶做車聯(lián)網(wǎng)，他大概一個城市每臺電腦上，都要裝終端，這個終端每分鐘會發(fā)一個路況的信息發(fā)到云端，要發(fā)一億條數(shù)據(jù)到云端里面，并且是每分鐘進(jìn)行一些計(jì)算，實(shí)時的判斷路況，給用戶最好的行車建議。
金融證券，比如金融交易電話交易是一個主流的方向，我們?yōu)橐粋€證券的機(jī)構(gòu)構(gòu)建了一個非常大的云平臺，有幾百億條數(shù)據(jù)放在后臺里面，可以實(shí)時的提供數(shù)據(jù)的分析，數(shù)據(jù)的接口，讓他們快速的運(yùn)行。
電信，我們這邊在移動那邊有一個案例。我們在一個省里面，我們把一個省的所有上網(wǎng)的信息，都加載到我們的集權(quán)里面，我們的集權(quán)可以把一些統(tǒng)計(jì)反饋給他們，支撐他們一些業(yè)務(wù)的支撐系統(tǒng)，還有商業(yè)技能，還有統(tǒng)計(jì)相關(guān)的。
能源，主要用于電廠電網(wǎng)的監(jiān)控，用電信息采集的分析。
電商，實(shí)時的推廣廣告給用戶，他們可以做商品模型的分析，把最好的產(chǎn)品推薦給用戶。比如說互聯(lián)網(wǎng)里面，有一個商品模型，還有信用分析。我有一個朋友是做信用分析的，在十幾秒鐘之內(nèi)把這個人的數(shù)據(jù)進(jìn)行一個分析，給用戶做一個評級，迅速的判斷這個用戶是不是值得放貸款給他。
為什么需要大數(shù)據(jù)實(shí)時的分析?
第一、實(shí)時的決策，量化交易，可以實(shí)時的計(jì)算數(shù)據(jù)，迅速的判斷我是買股票還是不買。
第二、提高業(yè)務(wù)效率。
第三、對于到數(shù)據(jù)，我們可以自由的嘗試一些新的算法，或者是新的策略。這樣通過實(shí)時的嘗試，我們可以快速發(fā)現(xiàn)新的觀點(diǎn)和機(jī)會。
第四、提供業(yè)務(wù)產(chǎn)出。
大數(shù)據(jù)的挑戰(zhàn)是什么呢?首先是要快：10秒以內(nèi)，100毫秒為佳給出結(jié)果。互聯(lián)網(wǎng)公司，百度他們希望100毫秒給出結(jié)果。一些金融機(jī)構(gòu)他們希望微秒給出結(jié)果，需要實(shí)時的能力，第一點(diǎn)就是快，就是實(shí)時的分析。
第二、就是大，針對的數(shù)據(jù)量，是10億每TB的級別。之前我們認(rèn)為數(shù)據(jù)超過1000萬不算大。我們現(xiàn)在碰到最大的集權(quán)，大概是接近萬億條數(shù)據(jù)這樣的級別。
第三、可以做各種各樣的分析操作。最簡單的是查詢，也可以是邏輯復(fù)雜一些的算法和數(shù)據(jù)分析。
有哪些技術(shù)可以選擇?
第一個是hadoop。它本身是谷歌研發(fā)出來的，它是在大數(shù)據(jù)方面的算法，對于TB數(shù)據(jù)，在大方面沒有問題，并且操作多樣化。因?yàn)樗暇€的工具有很多的算法都是非常不錯的。但是它的快比較尷尬，他需要一分鐘以內(nèi)才可以，他很多要做一個reduce，需要很長的時間。
第二、NoSQL(非關(guān)系型的數(shù)據(jù)庫)。在大方面，應(yīng)該可以支撐大。Hbase可以滿足大的特點(diǎn)，它可以做到一個大。Hbase底層是數(shù)據(jù)庫，只能支持簡單的查詢。Hbase很難做一些邏輯復(fù)雜的數(shù)據(jù)分析和挖掘。比如說淘寶那邊，他們可能比較有錢，他們用大量的硬件和大量的開發(fā)成本，有一套Hbase的數(shù)據(jù)開發(fā)集群。對于中小企業(yè)，和傳統(tǒng)的企業(yè)是不的太適合用No SQL做分析的。它需要巨大的硬件成本和開發(fā)成本。傳統(tǒng)的數(shù)據(jù)庫甲骨文支持大數(shù)據(jù)的分析嗎?支持算法可以，但是天生對大的數(shù)據(jù)運(yùn)算比較吃力。
京公網(wǎng)安備 11010502049343號