近日,星環科技的Transwarp Data Hub大數據平臺再次更新。最新發布的TDH 4.2,基于過去的產品作了全面的改進,其性能在業內已處于國際領先地位。尤其是對SQL的支持上,它實現了99%的SQL 2003支持,唯一支持PL/SQL的引擎(98%),唯一支持ACID分布式事務的SQL引擎;第一個支持SSD的基于Hadoop的高效計算引擎;支持多種主流報表工具和ETL工具,定位數據倉庫和數據集市市場,可用于補充或替代Oracle、DB2等分析用數據庫。支持索引、全文檢索,支持圖數據庫和圖算法,支持非結構化數據存儲等。同時,支持最多的分布式統計算法和機器學習算法,同時整合超過5000個R語言算法包,適合金融業風險控制、反欺詐、文本分析、精準營銷等應用。TDH的產品架構圖如下:
Transwarp Discover
TDH 4.2 推出了全新的數據挖掘產品Discover,整合了R語言運行環境、RStudio圖形化開發環境,包括了55種新開發的分布式機器學習算法以及R語言原生的數千個算法包,為用戶提供了全面的數據分析和挖掘工具。Discover可以和Inceptor無縫連接,采用R語言原生的Data Frame接口和函數進行SQL操作。此外Discover支持基于LDAP和Kerberos的安全認證機制以及訪問控制,保證了數據的安全性。
Transwarp Inceptor 4.2
Inceptor 4.2在分布式事務處理上取得新突破,可以滿足數據倉庫和數據集市市場上的數據一致性和高可用性要求。Inceptor 4.2支持串行化和可串行化的快照隔離兩種數據隔離方式,支持容錯機制保證系統高可用性。
Inceptor 4.2增強了數據增刪改方面的功能,增加了對分區表的事務支持,加強了復雜的CRUD與Merge Into的語法支持,并優化了事務表的統計性能。
在PL/SQL的支持上,Inceptor 4.2完善了更多功能來幫助開發人員提高開發效率,包括支持函數重載,任務的顯示與關閉,精確的報錯信息等,并解決了高并發情況下的一些問題。
在可用性方面,Inceptor 4.2增加了對Parquet文件的支持,并解決了Metastore的高可用性問題。此外,Inceptor 4.2支持通過SQL設定多租戶的硬盤、內存和CPU等資源的配額,支持LDAP & Kerberos 集成認證等,確保數據的安全和平臺的可管理性。
Transwarp Stream 4.2
Transwarp Stream在系統高可用性上做了更多的增強。Stream 4.2 新開發了Lazy Receiver進行流控,防止一直讀數據導致任務崩潰后,出現大批數據丟失的情況;也支持流任務在發生失敗后自動重啟。此外,Stream 4.2正式增加了WAL (Write-ahead Log)功能,保證系統的高可用性。
TDH 4.2 提供了更多的組件和服務,包括可視化的交互工具HUE,數據裝載工具Sqoop2,任務調度工具 Oozie 4.2,以及Hyperbase數據加載工具SQL Bulkload等。此外,全部組件都支持Kerberos & LDAP安全控制,保證所有組件的任務和數據安全。
為了更生態圈更好的對接,Inceptor 4.2發布了Linux版本ODBC,并且所有版本的JDBC/ODBC都支持基于Kerberos或LDAP的安全控制。此外,TDH 4.2加強了跟業界的整合,已經原生支持ETL工具DataStage 11.3等工具。
星環科技是目前國內極少數掌握大數據核心技術的高科技公司,專注于企業級大數據核心平臺數據庫軟件的研發與服務。公司產品Transwarp Data Hub (TDH)以其業界最完整的SQL on Hadoop支持; 獨特的對分布式ACID數據一致性支持;以及對SSD優化提高集群性價比等特點,比肩硅谷同行。產品的功能和性能在業界處于領先水平。在全球去IOE的大背景下,TDH已成為在數據倉庫,數據集市等領域替代傳統數據庫公認的大數據產品。