《企業(yè)網(wǎng)D1Net》2月12日訊
大數(shù)據(jù)概念，自誕生以來，就吸引業(yè)界的目光，然而在關注的同時，業(yè)界對大數(shù)據(jù)的概念、應用以及技術就存在一定爭議。究竟什么是大數(shù)據(jù)?有哪些大數(shù)據(jù)技術?大數(shù)據(jù)的未來是怎樣的?每個人都有自己的理解。
大數(shù)據(jù)從互聯(lián)網(wǎng)邁向企業(yè)級
“大數(shù)據(jù)”的概念是在十多年前伴隨著互聯(lián)網(wǎng)的迅猛發(fā)展而誕生的。雖然它由互聯(lián)網(wǎng)而生，其應用卻早已不限于互聯(lián)網(wǎng)行業(yè)。簡單地說，“大數(shù)據(jù)”就是超越傳統(tǒng)數(shù)據(jù)處理軟件(如關系型數(shù)據(jù)庫)處理能力的超大規(guī)模的數(shù)據(jù)集，大數(shù)據(jù)技術可以及時地、在應用所需求的時間內實現(xiàn)有效信息的獲取、組織、管理和處理。
最為關鍵的是，大數(shù)據(jù)技術代表著對數(shù)據(jù)資源的思維方式的轉變——我們從哪里獲取數(shù)據(jù)，如何分析數(shù)據(jù)，以及如何從分析結果中實現(xiàn)盈利。近幾年來，大數(shù)據(jù)技術的變革主要集中在從傳統(tǒng)數(shù)據(jù)源之中以及之外尋求新的價值點。
大數(shù)據(jù)技術的發(fā)展存在三個方面的挑戰(zhàn)：數(shù)據(jù)量、處理速度和數(shù)據(jù)多樣性。目前IT行業(yè)的大數(shù)據(jù)技術主要致力于解決前兩個方面的問題。如果從另一個角度來看，在商業(yè)實踐中, 這兩方面的挑戰(zhàn)可以歸為兩類典型的大數(shù)據(jù)問題--計算密集型(computing intensive ，比如天氣預報)和數(shù)據(jù)密集型(data intensive，比如互聯(lián)網(wǎng)數(shù)據(jù)分析)。常用的用于解決這兩類問題的技術有：Hadoop、MapReduce、Big Table/HBase、Hive、SAP HANA、Dremel、Storm和Spark等。
隨著近年半導體技術和應用的飛速發(fā)展，得益于硬件價格的不斷降低，大數(shù)據(jù)技術發(fā)展的重點正在從網(wǎng)格批處理計算處理方式，轉向內存中(in-memory)實時流數(shù)據(jù)計算的處理方式。
近來流行的Storm、Kafka和SAP HANA都是這一類的大數(shù)據(jù)處理技術。隨著實時流數(shù)據(jù)分析和實時決策技術的成熟，大數(shù)據(jù)應用得以迅速從互聯(lián)網(wǎng)領域延伸到提供企業(yè)級的大數(shù)據(jù)解決方案，例如提供金融服務和智能商業(yè)信息。
大數(shù)據(jù)人才短缺面臨挑戰(zhàn)
隨著大數(shù)據(jù)技術從概念走向成熟, 商業(yè)智能的決策響應時間將成為許多公司成功與否的關鍵。數(shù)據(jù)分析進行的越快，商業(yè)決策就越有潛在價值。許多企業(yè)已經通過從大數(shù)據(jù)的批處理到實時流數(shù)據(jù)處理的轉變獲得了競爭優(yōu)勢。大數(shù)據(jù)解決方案在企業(yè)數(shù)據(jù)快速分析方面的貢獻有目共睹，更快速高效的數(shù)據(jù)分析有助于企業(yè)獲取更有價值的信息，繼而實現(xiàn)關鍵的商業(yè)決策。
同時，企業(yè)在享受大數(shù)據(jù)便利的同時也面臨著相關人才短缺的挑戰(zhàn)。一份麥肯錫公司的研究報告表明，預計至2018年，僅美國就將有14-19萬名擁有大數(shù)據(jù)深度分析能力的人才缺口，同時還需要150萬位可以通過大數(shù)據(jù)分析做出有效決策的經理人和分析師。
D1Net評論：
前路漫漫，大數(shù)據(jù)雖然已經走上企業(yè)級發(fā)展之路，但是未來的發(fā)展究竟能否一帆風順，現(xiàn)在還尚未可知，從大數(shù)據(jù)目前的發(fā)展狀況來看，大數(shù)據(jù)人才的供給缺口亟需補充，否則，對大數(shù)據(jù)企業(yè)級的長遠發(fā)展也是十分不利的。
京公網(wǎng)安備 11010502049343號