在當前的大數據時代下,大數據的概念確實有點歧義。當然,來自網絡、電話、和其他數據源的信息確實數據量很大,但數據的主要價值并不在規模中。要從大數據中獲取真正的商業價值,用戶和BI供應商等還需要關注對廣泛來源的數據的集成和分析,簡言之,就是廣數據。
未來商業的成功,依賴于大數據和企業主流數據系統中的數據能否有機地結合。很多供應商開發了很多技術來實現,比如在NoSQL數據庫和Hadoop資源池上實現SQL查詢。這種技術趨勢很利于行業發展,因為新技術和老技術終究要結合起來。
對于管理大量非結構化數據來說,Hadoop是個好東西,但要實現精益分析,尤其是針對既有結構化數據、又有非結構化數據的數據結構時,Hadoop就顯得力不從心了。另一方面,傳統關系型數據庫在利用幾乎同一調用方式訪問異構數據源方面,有著悠久的歷史。而且從事數據分析的技術人員更熟悉的也是SQL語言。
另外,大多數用戶想要的都是技術上的穩步革新,而不是徹底的變革。這意味著企業在采用新技術的同時,要最大限度地使其能夠和現有IT生態系統融合,保護歷史資產。因此,Hadoop集群、NoSQL數據庫中的信息需要和傳統的數據庫和數據倉庫的數據有效集成,這樣才能更好地構建客戶、市場趨勢、企業運營視圖。比如社交媒體的客戶情感數據固然有價值,但如何不能和其他客戶數據、市場數據相聯,反應的情況也是片面的。
物聯網數據不能孤立
物聯網(IoT)也是大數據的重要數據源之一。安裝在產品和機器設備上的傳感器可以捕捉數據,并通過互聯網將數據發送回運營系統。物聯網大多應用于大型制造業,比如石油管道的遠程傳感器監控,卡車、貨車等車輛的維護相關信息收集。
物聯網的作用很大。傳感器發回的大量信息可以幫助用戶更好地監控質量問題、了解地域差異等等。物聯網數據增長迅猛,隨著時間的發展,很可能會差多Web數據。但同樣,如果只是狹義地關注物聯網數據,沒有把它和眾多其他數據源的數據集成,企業會錯過很多有價值的信息。
數據倉庫的潛力還沒有完全發揮出來。一個主要的原因就是數據倉庫很難利用實時數據。另一方面看,數據倉庫處理的多是歷史數據等變化緩慢的數據,處理這些數據根本不需要像處理實時數據一樣。因此,好的BI和分析平臺應該是既能處理歷史數據,又能處理實時數據。將數據倉庫和大數據技術結合起來,可以考慮內存處理。
下一代大數據技術應該解決的難題
更廣義來看,大數據還應包括數據的流動,即數據從數據源產生到交到用戶手里的過程。很多專家責難企業數據倉庫沒有“單一真相”,同樣的數據產生出五花八門的分析結果,以及難以實現有效的數據治理。
現在,移動設備和自服務BI工具極大地改變了信息的傳播范圍。當數據進入移動設備,你很難監管它的傳播。都有誰看了該信息?信息傳播的軌跡是怎樣的?有效的BI和大數據管理不只是收集和處理信息,也是管理信息的流通和傳播。
數據規模確實是一個技術難題,但核心的問題在于廣數據。如何將多種數據源的數據集成起來,如何處理,再如何讓廣大的用戶用于業務決策和分析,這才是技術應該最主要關注的問題。要做到支持廣泛的數據環境,供應商需要關注這些問題:
提供結構化數據和非結構化數據的訪問,并能有效集成能夠以不同的方式有效管理不同的數據集支持強大的數據治理模型
D1Net評論:
下一代BI和大數據技術必須能夠解決數據的廣度和復雜度的問題,而不僅僅是數據量。大數據不僅僅是數據量的大,更包含數據的廣泛性。用戶和供應商最好能在這一點上達成共識。