摘要：對于“大數(shù)據(jù)”(Bigdata)研究機構Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)定義
對于“大數(shù)據(jù)”(Bigdata)研究機構Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。
隨著云時代的來臨，大數(shù)據(jù)(Bigdata)也吸引了越來越多的關注。分析師團隊認為，大數(shù)據(jù)(Bigdata)通常用來形容一個公司創(chuàng)造的大量非結構化數(shù)據(jù)和半結構化數(shù)據(jù)，這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
大數(shù)據(jù)可實現(xiàn)的功能與意義
現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。阿里巴巴創(chuàng)辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是DataTechnology數(shù)據(jù)科技，顯示大數(shù)據(jù)對于阿里巴巴集團來說舉足輕重。
有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關鍵。
大數(shù)據(jù)的價值體現(xiàn)在以下幾個方面：
1)對大量消費者提供產(chǎn)品或服務的企業(yè)可以利用大數(shù)據(jù)進行精準營銷
2)做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務轉型
3)面臨互聯(lián)網(wǎng)壓力之下必須轉型的傳統(tǒng)企業(yè)需要與時俱進充分利用大數(shù)據(jù)的價值
大數(shù)據(jù)應用整體情況
大數(shù)據(jù)應用主要集中在對業(yè)務數(shù)據(jù)的統(tǒng)計分析，作為系統(tǒng)或企業(yè)的輔助支撐，應用范圍以系統(tǒng)內部或企業(yè)內部為主，例如各類統(tǒng)計報表、展示圖表等。
伴隨著各種隨身設備、物聯(lián)網(wǎng)和云計算、云存儲等技術的發(fā)展，數(shù)據(jù)內容和數(shù)據(jù)格式多樣化，數(shù)據(jù)顆粒度也愈來愈細，隨之出現(xiàn)了分布式存儲、分布式計算、流處理等大數(shù)據(jù)技術，各行業(yè)基于多種甚至跨行業(yè)的數(shù)據(jù)源相互關聯(lián)探索更多的應用場景，同時更注重面向個體的決策和應用的時效性。
因此，大數(shù)據(jù)的數(shù)據(jù)形態(tài)、處理技術、應用形式構成了區(qū)別于傳統(tǒng)數(shù)據(jù)應用的大數(shù)據(jù)應用。
當前，大數(shù)據(jù)在各個領域的應用持續(xù)升溫。據(jù)Gartner公司2015年的最新調研數(shù)據(jù)顯示，全球范圍內已經(jīng)或未來2年計劃投資大數(shù)據(jù)應用的企業(yè)比例達到76%，比2014年增長3%。
中國信息通信研究院2015年的調查顯示中國地區(qū)的受訪企業(yè)中有32%的企業(yè)已經(jīng)實現(xiàn)了大數(shù)據(jù)應用，另有24%的企業(yè)正在部署大數(shù)據(jù)平臺。
但是，在另一方面，大數(shù)據(jù)的效益仍尚未充分得到驗證。大多數(shù)的大數(shù)據(jù)系統(tǒng)尚處于早期部署階段，因此它們的投資回報還未得到充分驗證。
總體來看，大數(shù)據(jù)應用尚處發(fā)展前期階段，應用快速部署，效益有待檢驗。大數(shù)據(jù)前景很美好，同時也可能存在“忽悠”出來的“泡沫”成分。
5 大行業(yè)應用領域看大數(shù)據(jù)場景應用
整體來看，大數(shù)據(jù)應用尚處于從熱點行業(yè)領域向傳統(tǒng)領域滲透的階段。中國信息通信研究院的調查顯示大數(shù)據(jù)應用水平較高的行業(yè)主要集中分布在電信、金融、政務、交通和醫(yī)療5大行業(yè)領域，另外一些傳統(tǒng)行業(yè)的大數(shù)據(jù)應用發(fā)展較為緩慢，批發(fā)零售業(yè)甚至有超過80%的企業(yè)并沒有大數(shù)據(jù)應用計劃，遠低于整體平均水平。
1 電信領域
眾所周知，電信行業(yè)掌握著體量巨大的數(shù)據(jù)資源，單個運營商其手機用戶每天產(chǎn)生的話單記錄、信令數(shù)據(jù)、上網(wǎng)日志等數(shù)據(jù)就可達到PB級的數(shù)據(jù)規(guī)模。電信行業(yè)利用IT技術采集數(shù)據(jù)改善網(wǎng)絡運營、提供客戶服務已有數(shù)十年的歷史，而傳統(tǒng)處理技術下運營商實際上只能用到其中不足1%的數(shù)據(jù)資源。
大數(shù)據(jù)對于電信運營商而言，一是意味著利用廉價便捷的大數(shù)據(jù)技術提升其傳統(tǒng)的數(shù)據(jù)處理能力，聚合更多的數(shù)據(jù)提升洞察能力。
比如中國移動通過對消費、通話、位置、瀏覽、使用和交往圈等數(shù)據(jù)的分析，利用各種聯(lián)系記錄發(fā)現(xiàn)各種圈子，分析影響力及關鍵人員，用來進行家庭客戶、政企客戶和關鍵客戶的識別，以實現(xiàn)主動營銷和客戶維系。
二是提高數(shù)據(jù)意識，尋求合適的商業(yè)模式，嘗試數(shù)據(jù)價值的外部變現(xiàn)。主要有數(shù)據(jù)即服務(DaaS)和分析即服務(AaaS)兩種模式，一般對這兩種模式，很多人都比較陌生遠不如大家耳熟能詳?shù)能浖捶?Saas)來的熟悉。數(shù)據(jù)即服務(DaaS)模式往往通過開放數(shù)據(jù)或開放API的方式直接向外出售脫敏后的數(shù)據(jù);分析即服務(AaaS)模式往往與第三方公司合作，利用脫敏后的(自身或整合外部)數(shù)據(jù)資源為政府、企業(yè)或行業(yè)客戶提供通用信息、數(shù)據(jù)建模、策略分析等多種形式的信息和服務，以創(chuàng)造外部收益，實現(xiàn)數(shù)據(jù)資源變現(xiàn)。
2 金融領域
金融行業(yè)是信息產(chǎn)業(yè)之外大數(shù)據(jù)的又一重要應用領域，大數(shù)據(jù)在金融三大業(yè)務——銀行、保險和證券中均具有較為廣闊的應用前景。
總體說來，金融行業(yè)的主要業(yè)務應用包括企業(yè)內外部的風險管理、信用評估、借貸、保險、理財、證券分析等，都可以通過獲取、關聯(lián)和分析更多維度、更深層次的數(shù)據(jù)，并通過不斷發(fā)展的大數(shù)據(jù)處理技術得以更好、更快、更準確的實現(xiàn)，從而使得原來不可擔保的信貸可以擔保，不可保險的風險可以保險，不可預測的證券行情可以預測。
更多的金融企業(yè)利用大數(shù)據(jù)技術整合來自互聯(lián)網(wǎng)等渠道的更大的外部數(shù)據(jù)，典型的例子便是淘寶網(wǎng)的“阿里小貸”依托阿里巴巴(B2B)、淘寶、支付寶等平臺數(shù)據(jù)，海量的交易數(shù)據(jù)在阿里的平臺上運行，阿里通過對商戶最近100天的數(shù)據(jù)分析，準確把握商戶可能存在的資金問題。宜信的互聯(lián)網(wǎng)金融產(chǎn)品就是以互聯(lián)網(wǎng)為獲客主要渠道，除了借貸信用記錄，還結合大數(shù)據(jù)分析技術，捕捉來自大眾點評、豆瓣等社交網(wǎng)絡上的有用信息，幫助信用審核人員多維度分析借款客戶的信用狀況。
3 政務領域
大數(shù)據(jù)政務應用已經(jīng)逐漸獲得世界各國政府日益重視。我國政府也非常重視利用大數(shù)據(jù)提升國家治理能力。《國務院關于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》提出“大數(shù)據(jù)成為提升政府治理能力的新途徑”，要“打造精準治理、多方協(xié)作的社會治理新模式”。
首先，大數(shù)據(jù)有助于提升政府提供的公共產(chǎn)品和服務。一方面，基于政務數(shù)據(jù)共享互通，實現(xiàn)政務服務一號認證(身份認證號)、一窗申請(政務服務大廳)、一網(wǎng)辦事(聯(lián)網(wǎng)辦事)，大大簡化辦事手續(xù)。另一方面，通過建設醫(yī)療、社保、教育、交通等民生事業(yè)大數(shù)據(jù)平臺，有助于提升民生服務，同時引導鼓勵企業(yè)和社會機構開展創(chuàng)新應用研究，深入發(fā)掘公共服務數(shù)據(jù)，有助于激發(fā)社會活力、促進大數(shù)據(jù)應用市場化服務。
其次，大數(shù)據(jù)支持宏觀調控科學化。政府通過對各部門、社會企業(yè)的經(jīng)濟相關數(shù)據(jù)進行關聯(lián)分析和融合利用，可以提高宏觀調控的科學性、預見性和有效性。比如電商交易、人流、物流、金融等各類信息的融合交匯可以繪出國家經(jīng)濟發(fā)展的氣象云圖，幫助人們了解未來經(jīng)濟走向，提前預知通貨膨脹或經(jīng)濟危機。
第三，大數(shù)據(jù)有助于政府加強事中事后監(jiān)管和服務，提高監(jiān)管和服務的針對性、有效性。《國務院辦公廳關于運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管的若干意見》提出四項主要目標：
一是提高政府運用大數(shù)據(jù)能力，增強政府服務和監(jiān)管的有效性;
二是推動簡政放權和政府職能轉變，促進市場主體依法誠信經(jīng)營;
三是提高政府服務水平和監(jiān)管效率，降低服務和監(jiān)管成本;
四是實現(xiàn)政府監(jiān)管和社會監(jiān)督有機結合，構建全方位的市場監(jiān)管體系。
“大數(shù)據(jù)綜合治稅”、“大數(shù)據(jù)信用體系”等以大數(shù)據(jù)融合加強企業(yè)事中事后監(jiān)管的新模式的探索正在全國各地展開。
大數(shù)據(jù)超越了傳統(tǒng)行政思維模式，推動政府從“經(jīng)驗治理”轉向“科學治理”。隨著國家大數(shù)據(jù)戰(zhàn)略漸次明細，各方實踐逐步展開，大數(shù)據(jù)在政府領域的應用將迎來高速發(fā)展。
4 交通領域
交通數(shù)據(jù)資源豐富、具有實時性特征，大數(shù)據(jù)在交通領域的應用也是當前較為成熟和效果十分顯著的領域應用。
在交通領域，數(shù)據(jù)主要包括各類交通運行監(jiān)控、服務和應用數(shù)據(jù)，如公路、航道、客運場站和港口等視頻監(jiān)控數(shù)據(jù)，城市和高速公路、干線公路的各類流量、氣象檢測數(shù)據(jù)，城市公交、出租車和客運車輛衛(wèi)星定位數(shù)據(jù)，以及公路和航道收費數(shù)據(jù)等，這些交通數(shù)據(jù)類型繁多，而且體積巨大。此外，交通領域的數(shù)據(jù)采集和應用服務均對實時性要求較高。
目前，大數(shù)據(jù)技術在交通運行管理優(yōu)化、面向車輛和出行者的智能化服務，以及交通應急和安全保障等方面都有著重大發(fā)展。
在出行方面，面向公眾出行信息需求，整合交通出行服務信息，在公共交通、出租汽車、道路交通、公共停車，以及公路客運等領域擴大信息服務覆蓋面，使公眾出行更便捷。可以提供綜合性、多層次信息服務，包括交通資訊、實時路況、公交車輛動態(tài)信息、停車動態(tài)信息、水上客運、航班和鐵路等動態(tài)信息服務以及出行路徑規(guī)劃、出租召車等信息交互服務。例如，滴滴、Uber打車軟件提供出租車、快車、專車、順風車服務，同時接入地圖、路線查詢、實時路況、在線支付等相關服務。智能停車軟件也進入市場，如停簡單、好停車、PP停車等，實現(xiàn)停車行業(yè)與動態(tài)交通的有效銜接。
在物流方面，物流數(shù)據(jù)可以為物流市場預測、物流中心選址、優(yōu)化配送線路、倉庫儲位優(yōu)化等提供支撐，甚至能夠提供交通路況、車輛運行、社會經(jīng)濟發(fā)展動態(tài)的信息。對于跨境物流，整合集口岸監(jiān)管、物流運輸、航運信息，可以實現(xiàn)物流產(chǎn)業(yè)鏈的業(yè)務單據(jù)、車輛船舶動態(tài)、通關狀態(tài)等要素信息的跨行業(yè)、跨區(qū)域貫通，提高物流效率。
在管理方面，利用交通行業(yè)數(shù)據(jù)，支撐交通管理與決策。利用數(shù)據(jù)挖掘技術可以深入研究交通網(wǎng)優(yōu)化，為行業(yè)發(fā)展趨勢研判、政策制定及效果評估等提供支撐保障。此外，交通與公安、建管、環(huán)保等相關職能部門的大數(shù)據(jù)平臺對接，可以提高跨領域管理能力。
在運營方面，整合行業(yè)數(shù)據(jù)，形成地面公交、出租汽車、軌道交通、路網(wǎng)建設、汽車服務、港口、航空等領域的一體化智能管理。通過車載、運營數(shù)據(jù)的精確、實時采集，可以實現(xiàn)公交調度、行車安全監(jiān)控、公交場站管理，支持公交安全、服務、成本管控的全過程管理和交互。通過打通出租汽車電調平臺與互聯(lián)網(wǎng)召車平臺之間的信息渠道，可以提供多渠道便捷的召車服務，實現(xiàn)對出租汽車服務質量的動態(tài)跟蹤、評估和管理。對軌道交通線網(wǎng)基礎設施、運行狀況、運營數(shù)據(jù)、服務質量、隱患治理、安全保護區(qū)等進行監(jiān)測，可以實現(xiàn)安全管理和應急協(xié)同。
5 醫(yī)療領域
醫(yī)療衛(wèi)生領域每年都會產(chǎn)生海量的數(shù)據(jù)，一般的醫(yī)療機構每年會產(chǎn)生1TB-20TB的相關數(shù)據(jù)，個別大規(guī)模醫(yī)院的年醫(yī)療數(shù)據(jù)甚至達到了PB級別。
從數(shù)據(jù)種類上來看，醫(yī)療機構的數(shù)據(jù)不僅涉及服務結算數(shù)據(jù)和行政管理數(shù)據(jù)，還涉及大量復雜的門診數(shù)據(jù)，包括門診記錄、住院記錄、影像學記錄、用藥記錄、手術記錄、醫(yī)保數(shù)據(jù)等，作為醫(yī)療患者的醫(yī)療檔案，顆粒度極為細致。所以醫(yī)療數(shù)據(jù)無論從體量還是種類上來說都符合大數(shù)據(jù)特征，基于這些數(shù)據(jù)，可以有效輔助臨床決策有效支撐臨床方案。同時通過對疾病的流行病學分析，還可以對疾病危險進行分析和預警。
臨床中遇到的疑難雜癥，有時即便專家也缺乏經(jīng)驗，做出正確的診斷和治療更加困難。臨床決策支持系統(tǒng)可以通過海量文獻的學習和不斷的錯誤修正，給出最適宜診斷和最佳治療。大數(shù)據(jù)分析技術將使臨床決策支持系統(tǒng)更智能，這得益于對非結構化數(shù)據(jù)的分析能力的日益加強。
大量的基因數(shù)據(jù)、臨床實驗數(shù)據(jù)、環(huán)境數(shù)據(jù)以及居民的行為與健康管理數(shù)據(jù)形成了“大數(shù)據(jù)”，同時隨著人類對疾病與基因之間映射關系的認識加深，基因測序成本的下降，可穿戴設備的普及，監(jiān)控設備的微型化，移動連接和網(wǎng)絡覆蓋范圍的擴大和大數(shù)據(jù)處理能力的大幅提升，針對患者個體的精準醫(yī)療和遠程醫(yī)療成為可能。通過收集和分析數(shù)據(jù)，醫(yī)生可以更好地判斷病人病情，可實現(xiàn)計算機遠程監(jiān)護，對慢性病進行管理。通過對遠程監(jiān)控系統(tǒng)產(chǎn)生的數(shù)據(jù)的分析，可以減少病人住院時間，減少急診量，實現(xiàn)提高家庭護理比例和門診醫(yī)生預約量的目標。
公共衛(wèi)生部門可以通過覆蓋全國的患者電子病歷數(shù)據(jù)庫，快速檢測傳染病，進行全面的疫情監(jiān)測，并通過集成疾病監(jiān)測和響應程序，快速進行響應。百度通過對全國各地用戶產(chǎn)生的搜索日志的分析，提供全國331個地級市，2870個區(qū)縣的疾病態(tài)勢。百度還準備將社交媒體數(shù)據(jù)、問答社區(qū)數(shù)據(jù)、甚至是各地區(qū)天氣變化、各地疾病人群遷徙等特征數(shù)據(jù)融合到預測里，進一步提高預測的準確性。
總結
以上便是從電信、金融、政府、交通和醫(yī)療健康等5個行業(yè)，分析行業(yè)大數(shù)據(jù)應用的典型模式、發(fā)展狀況。
大數(shù)據(jù)的應用其實是無所不在的，其他行業(yè)如工業(yè)、零售業(yè)、農(nóng)業(yè)的應用場景也非常多。但是總體來說，大數(shù)據(jù)應用尚處于初步階段，受制于數(shù)據(jù)獲得、數(shù)據(jù)質量、體制機制、法律法規(guī)、社會倫理、技術成本等多方面因素制約，實際成果還需要時間檢驗。
大數(shù)據(jù)行業(yè)應用的發(fā)展，是沿襲數(shù)據(jù)分析應用而來的漸變的過程。觀察大數(shù)據(jù)應用的發(fā)展演變，可以從技術強度、數(shù)據(jù)廣度和應用深度三個視角切入。從以上的應用來看，大數(shù)據(jù)區(qū)別于傳統(tǒng)的數(shù)據(jù)分析有以下特征。
數(shù)據(jù)方面，逐步從單一內部的小數(shù)據(jù)，向多源內外交融的大數(shù)據(jù)方向發(fā)展，數(shù)據(jù)多樣性、體量逐漸增加。
技術方面，從過去的報表等簡單的描述性分析為主，向關聯(lián)性、預測性分析演進，最終向決策性分析技術階段發(fā)展。
應用方面，傳統(tǒng)數(shù)據(jù)分析以輔助決策為主，大數(shù)據(jù)應用中，數(shù)據(jù)分析已經(jīng)成為核心業(yè)務系統(tǒng)的有機組成部分，最終生產(chǎn)、科研、行政等各類經(jīng)濟社會活動將普遍基于數(shù)據(jù)的決策，組織轉型成為真正的數(shù)據(jù)驅動型組織。
京公網(wǎng)安備 11010502049343號