大數據定義
對于“大數據”(Bigdata)研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
隨著云時代的來臨,大數據(Bigdata)也吸引了越來越多的關注。分析師團隊認為,大數據(Bigdata)通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據可實現的功能與意義
現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。阿里巴巴創辦人馬云來臺演講中就提到,未來的時代將不是IT時代,而是DT的時代,DT就是DataTechnology數據科技,顯示大數據對于阿里巴巴集團來說舉足輕重。
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數據并不在“大”,而在于“有用”。價值含量、挖掘成本比數量更為重要。對于很多行業而言,如何利用這些大規模數據是贏得競爭的關鍵。
大數據的價值體現在以下幾個方面:
1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷
2)做小而美模式的中小微企業可以利用大數據做服務轉型
3)面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值
大數據應用整體情況
大數據應用主要集中在對業務數據的統計分析,作為系統或企業的輔助支撐,應用范圍以系統內部或企業內部為主,例如各類統計報表、展示圖表等。
伴隨著各種隨身設備、物聯網和云計算、云存儲等技術的發展,數據內容和數據格式多樣化,數據顆粒度也愈來愈細,隨之出現了分布式存儲、分布式計算、流處理等大數據技術,各行業基于多種甚至跨行業的數據源相互關聯探索更多的應用場景,同時更注重面向個體的決策和應用的時效性。
因此,大數據的數據形態、處理技術、應用形式構成了區別于傳統數據應用的大數據應用。
當前,大數據在各個領域的應用持續升溫。據Gartner公司2015年的最新調研數據顯示,全球范圍內已經或未來2年計劃投資大數據應用的企業比例達到76%,比2014年增長3%。
中國信息通信研究院2015年的調查顯示中國地區的受訪企業中有32%的企業已經實現了大數據應用,另有24%的企業正在部署大數據平臺。
但是,在另一方面,大數據的效益仍尚未充分得到驗證。大多數的大數據系統尚處于早期部署階段,因此它們的投資回報還未得到充分驗證。
總體來看,大數據應用尚處發展前期階段,應用快速部署,效益有待檢驗。大數據前景很美好,同時也可能存在“忽悠”出來的“泡沫”成分。
5 大行業應用領域看大數據場景應用
整體來看,大數據應用尚處于從熱點行業領域向傳統領域滲透的階段。中國信息通信研究院的調查顯示大數據應用水平較高的行業主要集中分布在電信、金融、政務、交通和醫療5大行業領域,另外一些傳統行業的大數據應用發展較為緩慢,批發零售業甚至有超過80%的企業并沒有大數據應用計劃,遠低于整體平均水平。
1 電信領域
眾所周知,電信行業掌握著體量巨大的數據資源,單個運營商其手機用戶每天產生的話單記錄、信令數據、上網日志等數據就可達到PB級的數據規模。電信行業利用IT技術采集數據改善網絡運營、提供客戶服務已有數十年的歷史,而傳統處理技術下運營商實際上只能用到其中不足1%的數據資源。
大數據對于電信運營商而言,一是意味著利用廉價便捷的大數據技術提升其傳統的數據處理能力,聚合更多的數據提升洞察能力。
比如中國移動通過對消費、通話、位置、瀏覽、使用和交往圈等數據的分析,利用各種聯系記錄發現各種圈子,分析影響力及關鍵人員,用來進行家庭客戶、政企客戶和關鍵客戶的識別,以實現主動營銷和客戶維系。
二是提高數據意識,尋求合適的商業模式,嘗試數據價值的外部變現。主要有數據即服務(DaaS)和分析即服務(AaaS)兩種模式,一般對這兩種模式,很多人都比較陌生遠不如大家耳熟能詳的軟件即服務(Saas)來的熟悉。數據即服務(DaaS)模式往往通過開放數據或開放API的方式直接向外出售脫敏后的數據;分析即服務(AaaS)模式往往與第三方公司合作,利用脫敏后的(自身或整合外部)數據資源為政府、企業或行業客戶提供通用信息、數據建模、策略分析等多種形式的信息和服務,以創造外部收益,實現數據資源變現。
2 金融領域
金融行業是信息產業之外大數據的又一重要應用領域,大數據在金融三大業務——銀行、保險和證券中均具有較為廣闊的應用前景。
總體說來,金融行業的主要業務應用包括企業內外部的風險管理、信用評估、借貸、保險、理財、證券分析等,都可以通過獲取、關聯和分析更多維度、更深層次的數據,并通過不斷發展的大數據處理技術得以更好、更快、更準確的實現,從而使得原來不可擔保的信貸可以擔保,不可保險的風險可以保險,不可預測的證券行情可以預測。
更多的金融企業利用大數據技術整合來自互聯網等渠道的更大的外部數據,典型的例子便是淘寶網的“阿里小貸”依托阿里巴巴(B2B)、淘寶、支付寶等平臺數據,海量的交易數據在阿里的平臺上運行,阿里通過對商戶最近100天的數據分析,準確把握商戶可能存在的資金問題。宜信的互聯網金融產品就是以互聯網為獲客主要渠道,除了借貸信用記錄,還結合大數據分析技術,捕捉來自大眾點評、豆瓣等社交網絡上的有用信息,幫助信用審核人員多維度分析借款客戶的信用狀況。
3 政務領域
大數據政務應用已經逐漸獲得世界各國政府日益重視。我國政府也非常重視利用大數據提升國家治理能力。《國務院關于印發促進大數據發展行動綱要的通知》提出“大數據成為提升政府治理能力的新途徑”,要“打造精準治理、多方協作的社會治理新模式”。
首先,大數據有助于提升政府提供的公共產品和服務。一方面,基于政務數據共享互通,實現政務服務一號認證(身份認證號)、一窗申請(政務服務大廳)、一網辦事(聯網辦事),大大簡化辦事手續。另一方面,通過建設醫療、社保、教育、交通等民生事業大數據平臺,有助于提升民生服務,同時引導鼓勵企業和社會機構開展創新應用研究,深入發掘公共服務數據,有助于激發社會活力、促進大數據應用市場化服務。
其次,大數據支持宏觀調控科學化。政府通過對各部門、社會企業的經濟相關數據進行關聯分析和融合利用,可以提高宏觀調控的科學性、預見性和有效性。比如電商交易、人流、物流、金融等各類信息的融合交匯可以繪出國家經濟發展的氣象云圖,幫助人們了解未來經濟走向,提前預知通貨膨脹或經濟危機。
第三,大數據有助于政府加強事中事后監管和服務,提高監管和服務的針對性、有效性。《國務院辦公廳關于運用大數據加強對市場主體服務和監管的若干意見》提出四項主要目標:
一是提高政府運用大數據能力,增強政府服務和監管的有效性;
二是推動簡政放權和政府職能轉變,促進市場主體依法誠信經營;
三是提高政府服務水平和監管效率,降低服務和監管成本;
四是實現政府監管和社會監督有機結合,構建全方位的市場監管體系。
“大數據綜合治稅”、“大數據信用體系”等以大數據融合加強企業事中事后監管的新模式的探索正在全國各地展開。
大數據超越了傳統行政思維模式,推動政府從“經驗治理”轉向“科學治理”。隨著國家大數據戰略漸次明細,各方實踐逐步展開,大數據在政府領域的應用將迎來高速發展。
4 交通領域
交通數據資源豐富、具有實時性特征,大數據在交通領域的應用也是當前較為成熟和效果十分顯著的領域應用。
在交通領域,數據主要包括各類交通運行監控、服務和應用數據,如公路、航道、客運場站和港口等視頻監控數據,城市和高速公路、干線公路的各類流量、氣象檢測數據,城市公交、出租車和客運車輛衛星定位數據,以及公路和航道收費數據等,這些交通數據類型繁多,而且體積巨大。此外,交通領域的數據采集和應用服務均對實時性要求較高。
目前,大數據技術在交通運行管理優化、面向車輛和出行者的智能化服務,以及交通應急和安全保障等方面都有著重大發展。
在出行方面,面向公眾出行信息需求,整合交通出行服務信息,在公共交通、出租汽車、道路交通、公共停車,以及公路客運等領域擴大信息服務覆蓋面,使公眾出行更便捷。可以提供綜合性、多層次信息服務,包括交通資訊、實時路況、公交車輛動態信息、停車動態信息、水上客運、航班和鐵路等動態信息服務以及出行路徑規劃、出租召車等信息交互服務。例如,滴滴、Uber打車軟件提供出租車、快車、專車、順風車服務,同時接入地圖、路線查詢、實時路況、在線支付等相關服務。智能停車軟件也進入市場,如停簡單、好停車、PP停車等,實現停車行業與動態交通的有效銜接。
在物流方面,物流數據可以為物流市場預測、物流中心選址、優化配送線路、倉庫儲位優化等提供支撐,甚至能夠提供交通路況、車輛運行、社會經濟發展動態的信息。對于跨境物流,整合集口岸監管、物流運輸、航運信息,可以實現物流產業鏈的業務單據、車輛船舶動態、通關狀態等要素信息的跨行業、跨區域貫通,提高物流效率。
在管理方面,利用交通行業數據,支撐交通管理與決策。利用數據挖掘技術可以深入研究交通網優化,為行業發展趨勢研判、政策制定及效果評估等提供支撐保障。此外,交通與公安、建管、環保等相關職能部門的大數據平臺對接,可以提高跨領域管理能力。
在運營方面,整合行業數據,形成地面公交、出租汽車、軌道交通、路網建設、汽車服務、港口、航空等領域的一體化智能管理。通過車載、運營數據的精確、實時采集,可以實現公交調度、行車安全監控、公交場站管理,支持公交安全、服務、成本管控的全過程管理和交互。通過打通出租汽車電調平臺與互聯網召車平臺之間的信息渠道,可以提供多渠道便捷的召車服務,實現對出租汽車服務質量的動態跟蹤、評估和管理。對軌道交通線網基礎設施、運行狀況、運營數據、服務質量、隱患治理、安全保護區等進行監測,可以實現安全管理和應急協同。
5 醫療領域
醫療衛生領域每年都會產生海量的數據,一般的醫療機構每年會產生1TB-20TB的相關數據,個別大規模醫院的年醫療數據甚至達到了PB級別。
從數據種類上來看,醫療機構的數據不僅涉及服務結算數據和行政管理數據,還涉及大量復雜的門診數據,包括門診記錄、住院記錄、影像學記錄、用藥記錄、手術記錄、醫保數據等,作為醫療患者的醫療檔案,顆粒度極為細致。所以醫療數據無論從體量還是種類上來說都符合大數據特征,基于這些數據,可以有效輔助臨床決策有效支撐臨床方案。同時通過對疾病的流行病學分析,還可以對疾病危險進行分析和預警。
臨床中遇到的疑難雜癥,有時即便專家也缺乏經驗,做出正確的診斷和治療更加困難。臨床決策支持系統可以通過海量文獻的學習和不斷的錯誤修正,給出最適宜診斷和最佳治療。大數據分析技術將使臨床決策支持系統更智能,這得益于對非結構化數據的分析能力的日益加強。
大量的基因數據、臨床實驗數據、環境數據以及居民的行為與健康管理數據形成了“大數據”,同時隨著人類對疾病與基因之間映射關系的認識加深,基因測序成本的下降,可穿戴設備的普及,監控設備的微型化,移動連接和網絡覆蓋范圍的擴大和大數據處理能力的大幅提升,針對患者個體的精準醫療和遠程醫療成為可能。通過收集和分析數據,醫生可以更好地判斷病人病情,可實現計算機遠程監護,對慢性病進行管理。通過對遠程監控系統產生的數據的分析,可以減少病人住院時間,減少急診量,實現提高家庭護理比例和門診醫生預約量的目標。
公共衛生部門可以通過覆蓋全國的患者電子病歷數據庫,快速檢測傳染病,進行全面的疫情監測,并通過集成疾病監測和響應程序,快速進行響應。百度通過對全國各地用戶產生的搜索日志的分析,提供全國331個地級市,2870個區縣的疾病態勢。百度還準備將社交媒體數據、問答社區數據、甚至是各地區天氣變化、各地疾病人群遷徙等特征數據融合到預測里,進一步提高預測的準確性。
總結
以上便是從電信、金融、政府、交通和醫療健康等5個行業,分析行業大數據應用的典型模式、發展狀況。
大數據的應用其實是無所不在的,其他行業如工業、零售業、農業的應用場景也非常多。但是總體來說,大數據應用尚處于初步階段,受制于數據獲得、數據質量、體制機制、法律法規、社會倫理、技術成本等多方面因素制約,實際成果還需要時間檢驗。
大數據行業應用的發展,是沿襲數據分析應用而來的漸變的過程。觀察大數據應用的發展演變,可以從技術強度、數據廣度和應用深度三個視角切入。從以上的應用來看,大數據區別于傳統的數據分析有以下特征。
數據方面,逐步從單一內部的小數據,向多源內外交融的大數據方向發展,數據多樣性、體量逐漸增加。
技術方面,從過去的報表等簡單的描述性分析為主,向關聯性、預測性分析演進,最終向決策性分析技術階段發展。
應用方面,傳統數據分析以輔助決策為主,大數據應用中,數據分析已經成為核心業務系統的有機組成部分,最終生產、科研、行政等各類經濟社會活動將普遍基于數據的決策,組織轉型成為真正的數據驅動型組織。