隨著DT 時代的來臨,物聯網(Internet of Thing, IoT)成為當今最具發(fā)展?jié)摿Φ募夹g潮流之一,它通過信息傳感設備把所有物品與互聯網融合,互相溝通或交換信息,構成了新一代信息技術的重要組成部分,其目的是期望能更加便利地滿足人們日常生活需要。物聯網已經構成了新一代信息技術的重要組成部分,成為DT時代的重要發(fā)展階段。
根據Gartner的報告顯示,2017年全球物聯網領域有超過80多億個聯網設備,預計至2020年全球聯網的設備規(guī)模量會更大。物聯網領域正呈現出一種快速增長態(tài)勢,相應的各類智能硬件產業(yè)規(guī)模也不斷提升。
目前物聯網所覆蓋的領域眾多,包括智能運輸、智能建筑、數字化醫(yī)療、工業(yè)自動化、石化、金融、移動POS、供應鏈、氣象、電力、農業(yè)、林業(yè)、環(huán)境保護、公共安全、軍事、遙感探測、煤炭、水務、消防等領域。
物聯網的數據特征:
那么究竟如何來選擇合適的數據庫來滿足海量數據的實時性要求呢?
下面通過一張圖來簡單回顧下各種數據庫的特點
從這張對比圖不難看出這些基于存儲的數據庫各有其自己的優(yōu)勢和缺陷,Hbase 屬于 NO SQL ,雖然適合于高并發(fā)查詢,但它不直接支持SQL 查詢,HIVE 數據庫 更適合批處理大量數據,無法實現聯機事務處理(OLTP),MYSQL 屬于傳統(tǒng)的 RDS, 其系統(tǒng)的擴展性較差,不適合海量數據大批量處理,Redis 屬于內存數據庫系統(tǒng), 過分依賴于內存計算, 系統(tǒng)的擴展性和安全性較差。
那么是否有一款數據庫既能支持海量數據離線分析處理 (OLAP),又能支持在線實時訪問(OLTP?答案是確定的,存在,就是HTAP數據庫。 它能很好地解決這些問題,并且?guī)椭鷮崿F實時計算數據快速落地,并很好地對接前端進行的可視化展示 ,提供業(yè)務人員決策分析等。
下面就來聊聊在當今DT 時代背景下, HTAP 數據庫究竟是一款什么樣的數據庫?
由Gartner提出了HTAP數據庫概念,Hybrid transaction/analytical processing (HTAP),WIKI百科上這樣定義:
HTAP數據庫需要同時支持OLTP和OLAP場景。基于創(chuàng)新的計算存儲框架,也就是在一份數據上保證事務的同時支持實時分析,省去了費時的ETL過程。傳統(tǒng)的IP架構有一些事務處理需要聯機分析和分開處理,HTAP數據庫的出現則是能夠在一份數據上同時支撐業(yè)務系統(tǒng)運行和做OLAP場景,這樣也能夠避免在傳統(tǒng)架構中,在線與離線數據庫之間大量的數據交互。
針對物聯網大數據應用,具有海量的傳感器數據,要求實時更新和查詢,對數據庫的性能要求很高。使用HTAP數據庫,能夠快速獲得數據庫的讀寫性能,它具有OLTP關系數據庫的多維度查詢能力,以及OLAP數據庫的復雜分析能力,期望能夠快速的分析數據的價值,數據實時處理能提供更快的響應速度,從數據中挖掘有價值的信息。
天云大數據是國內較早涉足大數據領域的研究和實施的大數據解決方案國內廠商,憑借其多年來在大數據分布式計算集群的經驗累積,及多家大型銀行核心交易系統(tǒng)的實踐驗證,推出了擁有百萬原生代碼規(guī)模的HTAP數據庫產品:Hubble(在wiki百科上可查詢Hubble到與Alibaba\Oracle\SAP等公司并列作為HTAP數據庫代表廠商),可以真正意義上實現混合交易分析處理。該數據庫是既可支持聯機事務處理(OLTP),又可支持聯機分析處理(OLAP)的一款國產數據庫。
Hubble數據庫作為HTAP 數據庫,具有大數據平臺Hadoop 可擴展性,以足夠的速度處理海量數據的能力,相信HUBBLE 數據庫運用在物聯網領域中,會是一個不錯的選擇, 并且在這一領域能處理日益增長的傳感器數據, 為企業(yè)創(chuàng)造價值。