大數(shù)據(jù)的源與流
大數(shù)據(jù)從源到流到匯聚應(yīng)用，包含數(shù)據(jù)入口、數(shù)據(jù)融合處理、數(shù)據(jù)應(yīng)用三個主要過程。從前到后看，這三個過程分別對應(yīng)于數(shù)據(jù)資產(chǎn)領(lǐng)域、數(shù)據(jù)融合與處理相關(guān)領(lǐng)域、數(shù)據(jù)應(yīng)用相關(guān)領(lǐng)域。
1) 數(shù)據(jù)資產(chǎn)領(lǐng)域
“數(shù)據(jù)正在成為一種（戰(zhàn)略）資產(chǎn)”已經(jīng)是行業(yè)的共識。大數(shù)據(jù)很大程度上是隨著社會信息化程度提高而在近期產(chǎn)生的，即是以前沒有或無法獲取且正在不斷生成的“新（fresh）”數(shù)據(jù)。不同的公司把握著各個數(shù)據(jù)入口，而把握數(shù)據(jù)資產(chǎn)的企業(yè)也必然成為大數(shù)據(jù)的首批和直接受益者。從公司業(yè)務(wù)模式上，數(shù)據(jù)資產(chǎn)公司可以區(qū)分為純數(shù)據(jù)資產(chǎn)公司和兼數(shù)據(jù)資產(chǎn)公司；從數(shù)據(jù)類型上，數(shù)據(jù)可以區(qū)分為交易數(shù)據(jù)（含詢價等）和交互數(shù)據(jù)。
純數(shù)據(jù)資產(chǎn)公司指其產(chǎn)品和業(yè)務(wù)即為數(shù)據(jù)本身，代表企業(yè)如友盟和個信互動等。友盟（Umeng）將核心代碼植入各種移動應(yīng)用，向移動應(yīng)用創(chuàng)業(yè)者提供應(yīng)用統(tǒng)計分析、用戶反饋等服務(wù)，目前，國內(nèi)主流開發(fā)者大多是友盟的用戶，超過18萬的移動應(yīng)用從友盟服務(wù)中獲益。個信互動的個推平臺，面向公眾提供專業(yè)的手機推送解決方案，并向開發(fā)者提供推送的BI數(shù)據(jù)，目前的接入用戶已經(jīng)超過6.8億。
不難看出，該類公司有幾個特征，
一是處于數(shù)據(jù)流中某個基礎(chǔ)性的控制節(jié)點；
二是在控制節(jié)點后聚集了一整類的兼數(shù)據(jù)資產(chǎn)型公司；
三是標(biāo)的數(shù)量很少，一個具體領(lǐng)域（如手機的信息推送或者應(yīng)用統(tǒng)計服務(wù)）只能容納下1-2家企業(yè)；四是該類企業(yè)處于底層，較少為非業(yè)界人士所知。
兼數(shù)據(jù)資產(chǎn)公司相對純數(shù)據(jù)資產(chǎn)公司顯然更多，下表按照交易數(shù)據(jù)與交互數(shù)據(jù)對其進(jìn)行分類整理。
表格中所列示的都是規(guī)模較大、有所成績的明星企業(yè)，因為如果數(shù)據(jù)沒有相當(dāng)深度和廣度的累積，價值將非常低。但是，我們看到不斷有新的企業(yè)成長起來，百花齊放百家爭鳴，搶奪已有的入口或者開辟全新的入口。
2) 數(shù)據(jù)融合與處理相關(guān)領(lǐng)域
在數(shù)據(jù)融合與處理相關(guān)的領(lǐng)域，主要解決包含兩個方面的問題：一是數(shù)據(jù)標(biāo)準(zhǔn)化與有效性整理；二是面向過程（具體目的）的數(shù)據(jù)處理與粗提取。
典型的案例如征信數(shù)據(jù)庫，商業(yè)銀行與各信貸主體之間每天都在發(fā)生著海量交易，交易一旦發(fā)生則記錄進(jìn)入各商業(yè)銀行數(shù)據(jù)庫（錄入人員通過人機交互過程完成數(shù)據(jù)的標(biāo)準(zhǔn)化和預(yù)處理），每天晚上各商業(yè)銀行后臺對數(shù)據(jù)進(jìn)行整理和加密，次日將信貸主體與信用數(shù)據(jù)加密通過專用接口將數(shù)據(jù)包提交到征信數(shù)據(jù)中心，然后征信中心將各數(shù)據(jù)包加成導(dǎo)入到征信數(shù)據(jù)總庫進(jìn)行更新，完成數(shù)據(jù)標(biāo)準(zhǔn)化和有效性整理并形成更新后的數(shù)據(jù)狀態(tài)。而面向過程的數(shù)據(jù)處理與粗提取，比如對某信貸主體的征信數(shù)據(jù)進(jìn)行查詢后，可通過插件進(jìn)行破產(chǎn)風(fēng)險（企業(yè)）或信用評分（個人）的簡單核算，不同金融機構(gòu)可設(shè)置不同的標(biāo)準(zhǔn)，根據(jù)自身風(fēng)險政策完成初步的可否授信、授信額度大小的批量化評估。
較成熟的類似機構(gòu)包括彭博、萬得、同花順等，目前均局限于金融行業(yè)，但每個行業(yè)都有不同的數(shù)據(jù)整合入庫的需求，而數(shù)據(jù)標(biāo)準(zhǔn)的制定及數(shù)據(jù)匯聚的執(zhí)行是其難點所在。另外，在大數(shù)據(jù)的融合與處理相關(guān)領(lǐng)域，兩個繞不開的點為基礎(chǔ)軟件（數(shù)據(jù)庫軟件）和云計算。
3) 數(shù)據(jù)應(yīng)用相關(guān)領(lǐng)域
如上文所述，掌握數(shù)據(jù)資產(chǎn)的企業(yè)群是大數(shù)據(jù)的首批和直接受益者，因為他們會自然、方便的對大數(shù)據(jù)進(jìn)行把玩、加工、消化、利用。而隨著應(yīng)用價值的逐步體現(xiàn)及大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，應(yīng)用將必然擴張到生產(chǎn)生活的方方面面，廣泛影響各行各業(yè)。
麥肯錫針對美國各個行業(yè)應(yīng)用大數(shù)據(jù)的潛在價值提升做了一個評估（結(jié)論參見下表），從其中我們可以看到，大數(shù)據(jù)的應(yīng)用將使得金融保險、信息技術(shù)、公共管理、貿(mào)易物流等領(lǐng)域獲得極大的價值提升。
大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)
首先我們按照從硬件-基礎(chǔ)軟件-應(yīng)用軟件-信息服務(wù)和數(shù)據(jù)生成-存儲-處理-應(yīng)用兩條線各4個維度來劃分大數(shù)據(jù)的產(chǎn)業(yè)結(jié)構(gòu)，涉及11大類主要的產(chǎn)品和服務(wù)：采集設(shè)備、存儲設(shè)備、服務(wù)器、數(shù)據(jù)庫軟件、采集監(jiān)測軟件、智能搜索與分析軟件、系統(tǒng)集成、IT基礎(chǔ)設(shè)施服務(wù)、咨詢實施服務(wù)、信息安全以及云計算。
以上11種主要產(chǎn)品和服務(wù)都是大數(shù)據(jù)的重要構(gòu)成，缺一不可，但其中基礎(chǔ)軟件（數(shù)據(jù)庫軟件和分布式文件系統(tǒng)）、應(yīng)用軟件是大數(shù)據(jù)產(chǎn)業(yè)價值轉(zhuǎn)化變現(xiàn)的最關(guān)鍵部分，云計算對大數(shù)據(jù)的廣泛應(yīng)用有著舉足輕重的意義，其他7種在某種意義上則是在原有基礎(chǔ)上持續(xù)更新并與大數(shù)據(jù)發(fā)展配套的過程。
在軟硬件和信息服務(wù)領(lǐng)域的垂直劃分中，我們認(rèn)為商業(yè)智能帶動的應(yīng)用軟件、云計算和信息安全是國內(nèi)大數(shù)據(jù)發(fā)展的三家馬車，也是更可能有所作為的地方。
大數(shù)據(jù)主要子行業(yè)
1） 硬件與基礎(chǔ)軟件
大數(shù)據(jù)爆炸增長帶動硬件和基礎(chǔ)軟件發(fā)展。
存儲和服務(wù)基礎(chǔ)設(shè)施用于存儲產(chǎn)生的數(shù)據(jù)，是數(shù)據(jù)周期的第一站。隨著“新摩爾定律”逐步得到驗證，預(yù)計大數(shù)據(jù)將呈現(xiàn)越來越快的增速，同時大數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)占比也將逐步提高，這直接推動著存儲和服務(wù)器行業(yè)的大發(fā)展。如何更快、更好、更準(zhǔn)確地把數(shù)據(jù)分門別類、按需存儲，提高存儲性能和計算能力，是存儲器和服務(wù)器提供商面臨的新問題。基礎(chǔ)軟件提供商主要是提供操作系統(tǒng)、數(shù)據(jù)庫軟件等，對已經(jīng)存儲好的數(shù)據(jù)資源進(jìn)行高效管理，是存儲器、服務(wù)器的下游環(huán)節(jié)。存儲器、服務(wù)器等硬件設(shè)備的發(fā)展也將直接帶動基礎(chǔ)軟件的升級。
國際巨頭壟斷上述領(lǐng)域，寡頭格局已經(jīng)形成。
EMC、IBM、HP、Sumsung、Oracle等國際巨頭在硬件與基礎(chǔ)軟件領(lǐng)域精耕細(xì)作多年，市場競爭格局基本穩(wěn)定，寡頭競爭態(tài)勢明顯。因為其基礎(chǔ)軟件的優(yōu)勢，又逐步向更下游的應(yīng)用軟件等領(lǐng)域滲透，不斷完善自身產(chǎn)品線，提升客戶粘性。領(lǐng)先的技術(shù)優(yōu)勢、豐富的客戶資源、強大的并購能力等構(gòu)建了國際巨頭的護(hù)城河，使得國內(nèi)企業(yè)短期內(nèi)很難超越。
2） 商業(yè)智能應(yīng)用軟件
商業(yè)智能的體系和意義
從數(shù)據(jù)的最終利用深度來區(qū)分，商業(yè)智能劃分為數(shù)據(jù)報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘三個層次。其中，報表系統(tǒng)只是簡單地進(jìn)行數(shù)據(jù)管理，描述企業(yè)已經(jīng)發(fā)生的事件，比如Excel、水晶報表、Reporting Service等報表系統(tǒng)；數(shù)據(jù)分析師對數(shù)據(jù)進(jìn)行優(yōu)化分析，解析造成企業(yè)
目前狀況的深層次原因，比如OLAP技術(shù)；數(shù)據(jù)挖掘則是對數(shù)據(jù)進(jìn)行分析預(yù)測，發(fā)現(xiàn)知識、預(yù)測未來。商業(yè)智能的最終目的，是為了產(chǎn)生更好的商業(yè)決策。
商業(yè)智能的實現(xiàn)過程是通過收集來自企業(yè)內(nèi)部和外部各種數(shù)據(jù)源的不同數(shù)據(jù)，提取有用信息，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、重構(gòu)進(jìn)入數(shù)據(jù)倉庫或數(shù)據(jù)集市，然后通過合適的查詢和分析工具、數(shù)據(jù)挖掘工具、聯(lián)機分析處理工具對數(shù)據(jù)進(jìn)行加工處理，最終轉(zhuǎn)化為知識。從商業(yè)智能系統(tǒng)建立的技術(shù)角度看，構(gòu)建一個完整的商業(yè)智能系統(tǒng)涉及到的核心技術(shù)主要有數(shù)據(jù)倉庫（DW）技術(shù)、聯(lián)機分析處理（OLAP）技術(shù)、前端分析展示技術(shù)和數(shù)據(jù)挖掘（DM）技術(shù)等組成。
國內(nèi)現(xiàn)狀
國內(nèi)供應(yīng)商專注于報表軟件、應(yīng)用軟件和解決方案等領(lǐng)域。國內(nèi)BI廠商的共同特點是，產(chǎn)品線不全，廠商實力相對較弱，基本可以分為三類：第一類是從報表工具、展示工具軟件等延伸而來的廠商，這類廠商占絕大多數(shù)，如潤乾、尚南科技等；第二類是從ERP等管理軟件延伸而來，如用友、浪潮、金蝶等，專注于戰(zhàn)線工具和分析模型方面，并開始向應(yīng)用軟件和行業(yè)解決方案轉(zhuǎn)型；第三類是專業(yè)BI廠商，如菲奈特融通、東方國信等，專注于BI應(yīng)用軟件和行業(yè)解決方案。國內(nèi)廠商在數(shù)據(jù)倉庫、數(shù)據(jù)集市、BI 工具平臺軟件等方面，缺乏有競爭力的產(chǎn)品。
3） 云計算
云計算的三種服務(wù)交付模式：IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）和SaaS（軟件即服務(wù)）。
IaaS
指的是以服務(wù)形式提供服務(wù)器、存儲和網(wǎng)絡(luò)硬件。這類基礎(chǔ)架構(gòu)一般是利用網(wǎng)格計算（GridComputing)架構(gòu)建立虛擬化的環(huán)境，因此虛擬化、集群和動態(tài)配置軟件也被涵蓋在IssS中，這方面代表有亞馬遜的彈性云服務(wù)，ServePath下的GoGrid等；
PaaS
指的是以服務(wù)形式提供給開發(fā)人員應(yīng)用城市需開發(fā)及部署平臺，讓他們可利用此平臺來開發(fā)、部署和管理SaaS應(yīng)用程序；這種平臺一般包含數(shù)據(jù)庫、中間件及開發(fā)工具，所有都以服務(wù)形式通過互聯(lián)網(wǎng)提供；PaaS 也是SaaS 模式的一種應(yīng)用，這一層面的代表有Google App、Force.com、MOSSO等；
SaaS
指的是通過瀏覽器，以服務(wù)形式提供給用戶應(yīng)用程序；SaaS是一種軟件布局模型，其應(yīng)用專為網(wǎng)絡(luò)交付而設(shè)計，便于用戶通過互聯(lián)網(wǎng)托管、部署及介入；SaaS應(yīng)用軟件的價格通常為“全包”費用，囊括了通常的應(yīng)用軟件許可證費、軟件維護(hù)費以及技術(shù)支持費，將其統(tǒng)一為每個用戶的閱讀租用費；SaaS可以通過瀏覽器把應(yīng)用程序作為服務(wù)提供給成千上萬的用戶；這一層面的代表有Salesforce.com、google map、office live等；
云計算廠商則可以細(xì)分為平臺提供商、系統(tǒng)集成商和服務(wù)提供商。
平臺提供商
云計算需要能夠?qū)崿F(xiàn)虛擬化、自動負(fù)載平衡、隨需應(yīng)變的軟硬件平臺，這部分的提供商主要是傳統(tǒng)的軟硬件生產(chǎn)商，如Vmware、Oracle、Sun、IBM、Cisco等；國內(nèi)的相關(guān)公司包括浪潮信息、華勝天成、華為、中興、方正科技等；
系統(tǒng)集成商
幫助用戶搭建云計算的軟硬件平臺，尤其是企業(yè)私有云：代表廠商包括IBM、HP、Google、AT&T等；國內(nèi)公司包括華勝天成、浪潮軟件、東軟集團(tuán)等；
服務(wù)提供商
包括為企業(yè)和個人用戶提供計算和存儲資源的IaaS公司、為應(yīng)用開發(fā)者提供開發(fā)平臺的PaaS公司、SaaS應(yīng)用服務(wù)提供商；代表廠商包括Amazon、Rackspace、GoGrid、Force.com、Google、Salesforce等；國內(nèi)公司包括鵬博士、網(wǎng)宿科技、神州泰岳、用友、金蝶、焦點科技、生意寶等。
4） 信息安全
信息安全越發(fā)重要，迎來發(fā)展契機。
信息安全產(chǎn)品覆蓋硬件、軟件及服務(wù)；細(xì)分領(lǐng)域眾多，競爭激烈且龍頭各異。
安全硬件主要包括防火墻/VPN、入侵檢測/防御系統(tǒng)（IDS/IPS）、統(tǒng)一威脅管理（UTM）；安全軟件主要包括內(nèi)容安全與威脅管理、身份管理、訪問控制等；安全服務(wù)主要包括安全咨詢、等級評測、風(fēng)險評估、安全審計、運維管理、安全培訓(xùn)等方面。
京公網(wǎng)安備 11010502049343號