在2個月的等待以后,星環科技推出了全新的Transwarp Data Hub 4.3版本。全新的版本包含多項創新的功能,并在系統穩定性和性能上做了進一步的提升,可以滿足各種數據量的數據業務的需求。Transwarp Inceptor開始支持DB2 SQL/PL,是業界首個同時支持Oracle PL/SQL和DB2 SQL/PL的大數據平臺;推出全新組件Stargate,可以接入多種數據源參與實時數據分析,解決數據孤島問題;支持實時數據同步工具,可應用于實時數據分析市場;Transwarp Stream增強了Stream SQL的兼容性,支持在流上進行SQL應用開發,且支持99%的SQL 99標準,極大降低了流應用開發的門檻。Transwarp Discover增加并完善對DataFrame的接口支持,讓數據挖掘編程更加便利。
Transwarp Inceptor
Transwarp Inceptor 4.3在產品結構上做了重大升級,包含8大核心組件功能,其中新組件Stargate可以讓多數據源的數據實時進入Inceptor參與計算,Guardian提供更加完備的多租戶管理功能,其他6大組件也都有較大的升級。
全新的多數據源管理組件Stargate可以連接包括Oracle/DB2/Mysql/Teradate等數據庫和數據平臺,并兼容DBLink語法,可以將多種不同數據源的數據接入Inceptor引擎做實時的統計分析,而無需事先將數據導入HDFS,從而更加方便用戶的業務構建多樣化需求。
PL/SQL Compiler迎來重大升級,支持80%的DB2 SQL/PL和其他SQL擴展,包括完整的數據類型、流程控制、Package、游標、異常處理以及動態SQL執行,并且支持在存儲過程中做高速統計,增刪改查與分布式事務操作。Inceptor是首個同時支持Oracle PL/SQL和DB2 SQL PL兩大主流SQL模塊化擴展的大數據平臺。
Transwarp Inceptor在分布式引擎上也做了重要的提升,在超大量數據分析上取得重要突破。Inceptor 4.3能夠在29臺普通兩路x86服務器上運行100TB的TPC-DS基準數據分析測試,完整運行99個分析業務只需要40小時,無論數據量還是性能均超過國內外其他平臺,表明Inceptor在系統健壯性,性能和可擴展性方面已經達到國際一流水平。
Inceptor推出了全新的多租戶管理組件Guardian,提供完整的多租戶管理功能,包括租戶CPU/內存/磁盤等資源管理,租戶權限管理以及安全控制等,支持LDAP認證和底層Kerberos加密。此外,Guardian支持Row Level Security,允許管理員對同一張表內數據給不同的租戶做精確的行級權限控制,從而保證數據的私密性和安全性,適應更多場景數據管理的需求。
在和數據工具的兼容整合方面,Inceptor也取得重要進展,能夠對接IBM CDC和Oracle Golden Gate等數據同步工具,可以實時的將交易數據庫的更新同步到數據倉庫中做交互式分析業務。
在分布式事務方面,Inceptor在性能和可用性方面也做了重要提升,批量的Update/Merge Into的性能提升2~3倍,而小數據量的增改的延時降低了5倍以上。
Transwarp Stream
Transwarp Stream 4.3推出了新的SQL編譯器,支持用戶以Stream SQL,Scala和Java API來開發流處理應用,極大降低了流應用開發的門檻。Stream SQL支持99% 的SQL 99語法標準,支持ANSI SQL 2003 OLAP核心擴展,可以滿足流應用開發的業務需求;支持按數據字段時間切分滑動窗口和跳動窗口,用戶可以通過與SQL 2003兼容的Window語法來創建滑動窗口或者跳動窗口,并在窗口上進行各種復雜的聚合操作。此外,Stream 4.3支持包括Socket,文件以及Kafka等在內的多種流輸入方式,支持包括Hyperbase,HDFS以及Holodesk等輸出方式,支持企業數據總線應用,保證有靈活的多場景適用性。此外,支持用戶通過SQL來管理Application和Stream Job,方便應用的運維和管理工作。
Transwarp Discover
為了給開發人員提供更友好的R編程接口,Discover在R編程接口做了重要升級。Discover對HDFS上讀取的數據及sql中獲取的數據增加DataFrame的支持,允許在DataFrame上做聚合操作,并且支持包括RDD、sql抽象出來的Table等在內的多種輸入數據類型。
在基礎組件方面,Discover也做了一些升級。R版本升級到3.2.2,R Studio升級到0.98.486。此外Discover中內置的Spark的版本升級到1.5.1。
Transwarp Manager
為了更加方便運維操作,Transwarp Manager 4.3支持對管理角色做遷移,防止Master節點故障導致平臺不能服務,目前支持Zookeeper,NameNode,Resource Manager和HMaster的管理角色遷移。此外,Manager 4.3還提供多項實用功能,包括Inceptor客戶端jar包下載,命令行服務監控工具等功能,方便用戶各種場景下的運維需求。
Transwarp Manager 4.3增加了對Redhat/CentOS 7.1 on Power的支持,因此TDH可以非常便捷地部署在IBM Power服務器平臺上。
星環科技是目前國內極少數掌握大數據核心技術的高科技公司,專注于企業級大數據核心平臺數據庫軟件的研發與服務。公司產品Transwarp Data Hub (TDH)以其業界最完整的SQL on Hadoop支持; 獨特的對分布式ACID數據一致性支持;以及對SSD優化提高集群性價比等特點,比肩硅谷同行。產品的功能和性能在業界處于領先水平。在全球去IOE的大背景下,TDH已成為在數據倉庫,數據集市等領域替代傳統數據庫公認的大數據產品。