《企業網D1Net》4月20日訊

2015年4月16日，第六屆中國數據庫技術大會(DTCC)在北京震撼登場。大會以"大數據技術交流和價值發現"為主題，吸引了2500多人參加，100多名數據庫技術專家來分享技術，堪稱數據庫領域國內最大規模的專業會議。星環科技作為唯一受邀的大數據平臺商參展，CTO孫元浩發表了題為“大數據基礎技術發展的兩大方向和最新研發成果”的主題演講。

孫元浩的演講分析了Hadoop技術經過最近十年發展，已經開始深入各行業和各類應用，但從市場的反饋來看，Hadoop還沒有被大面積普遍采用，他表示主要制約因素來自兩個方面：1. SQL on Hadoop的技術進展制約了企業原有應用的遷移以及新應用的開發; 2. 企業在建設大數據平臺或者Data Lake時，往往有多租戶資源管控和彈性計算的需求，這些需求現有的YARN或者虛擬化技術沒有滿足。隨后孫元浩介紹了星環科技在這兩方面的最新突破，可幫助企業快速完成應用遷移和部署。

同時在本次大會上，星環科技發布了全新的軟件版本TDH 4.1。孫元浩向參會者介紹道：“最新版本產品提供80%的PL/SQL語法支持，并增加了大量的SQL優化，可以滿足用戶對大數據處理的需求;另外新版本的TDH增加了分布式Cube功能，可以讓用戶在十億級別的數據量上實現交互式分析。下一步，星環還將發布為大數據應用量身定做的TOS云操作系統。TOS基于Docker和Kubernetes，支持一鍵部署TDH，讓TDH和其他Docker應用共享集群，其基于優先級的搶占式資源調度和細粒度資源分配，讓大數據應用輕松擁抱云服務。”(更多詳情，請點擊http://www.transwarp.cn/news/detail?id=51)

新版本各個組件增強特性如下：

1. Transwarp Inceptor 4.1

Transwarp Inceptor 4.1包含新版本的Holodesk，支持Distribute OLAP Cube，通過在內存或SSD中內建OLAP Cube來加速即席查詢，對十億級別的數據做查詢延時能夠降到10s以內;支持用SQL做增刪改查，進一步滿足用戶對數據管理上的需求;新增加了容錯設計與高可用性，在Inceptor服務出現故障恢復后能夠直接通過Zookeeper上的元數據來自動恢復 Holodesk數據和服務。

為了滿足企業數據倉庫的需求，Transwarp Inceptor 4.1增加了完整的增刪改查的支持，用戶可以對HDFS、Holodesk以及Hyperbase上的數據做Insert/Update/Delete/Merge Into操作，滿足業務上的多樣性需求。同時，Inceptor 4.1完善了事務方面的支持，支持批量事務、自治事務以及原子事務，可以更加有效的支持數據倉庫的應用開發。

Transwarp Inceptor 4.1繼續增強對PL/SQL語法的支持。Inceptor 4.1開始支持包、隱式游標、動態SQL執行、系統自定義包/函數/異常，以及集合數據類型。此外，Inceptor 4.1支持存儲過程中的會話級臨時表和事務級臨時表。

Transwarp Inceptor 4.1進一步增強了SQL優化器，支持預編譯SQL以加速高并發下查詢效率，新增代碼生成技術來解決性能熱點問題。此外，CBO進一步完善規則，增加了Bushy Join Tree等技術的支持。

為了和業界更好的整合，Transwarp Inceptor 4.1繼續增強了JDBC和ODBC的功能，并完成了與更多的報表工具、ETL工具和中間件的對接工作。目前Inceptor能夠和IBM Data stage 11.3，Cognos 10.2.1，SAP Data Service以及Hibernate 4.3等軟件完美兼容。

此外，在數據挖掘方面，Inceptor 4.1新增加了基于流的多個挖掘算法，包括流上的統計類挖掘算法，流上的Kmeans、邏輯回歸、線性回歸以及密度估計算法等。

2. Transwarp Stream 4.1

Transwarp Stream 4.1包含了基于SQL流計算的多項關鍵技術。首先Stream 4.1與Inceptor深度整合，可以支持SQL 99標準的SQL在流上的計算;同時為了提高計算實時性，Stream 4.1開發了SQL預編譯和DAG緩存功能，并結合Job Server復用Spark Context，能非常有效的降低SQL編譯的開銷，保證計算的實時性。此外，Stream 4.1與Holodesk做了進一步的整合，流計算的結果數據可以直接錄入Holodesk，因此能夠大幅度提高系統的數據入庫吞吐率。

Transwarp Stream 4.1還新增了對流上的數據挖掘功能，目前用戶可以在流上構建數據挖掘和推薦系統，一些常見的挖掘算法已經產品化，如統計類算法、KMean、邏輯回歸算法等。

此外，Transwarp Stream 4.1增強了系統的監控能力，用戶能夠更有效的監控系統的各項性能指標以及負載狀況，讓運維工作更加有效。

3. Transwarp Hyperbase 4.1

Transwarp Hyperbase 4.1新增了多個功能，在數據適配、數據導入、事務處理和全文檢索方面提供了更好的解決方案。

Transwarp Hyperbase 4.1大幅增強了對外部數據源的支持。Hyperbase 4.1支持直接存入JSON和BSON文件，并通過SQL可以直接查詢文件中的屬性值;同時，XML文件的存儲和查詢功能得到進一步的增強，使得對XML文件的查詢和XPath計算更加便利;此外為了滿足很多業務場景對圖像視頻文件的存儲需求，Hyperbase 4.1增加了Object Store的支持，使得多媒體文件的存取和檢索更加有效。

數據導入是NoSQL應用的一個非常關鍵過程，尤其是選取合適的Split Key對Hyperbase整體性能非常重要。為了有效的降低數據導入的難度，Hyperbase 4.1增加了基于SQL的One-Click BulkLoad功能。首先它根據數據和表信息生成最佳的Split Key，然后生成SQL語句來導入數據進Hyperbase。

在分布式事務處理方面，Hyperbase 4.1支持批處理事務和自治事務處理，并優化了高并發下的分布式事務處理吞吐率。此外，Hyperbase 4.1新增加了用SQL來做全文檢索，用戶可以對多個維度用SQL來實現簡單高效的模糊查詢，進一步降低開發門檻。

除了組件的功能升級以外，TDH 4.1還增強了對國產操作系統平臺的支持，目前已經支持紅旗Linux 3.4平臺，并在進一步研發對其他國產平臺的支持。

大數據的熱度還在不斷攀升，市場規模誘惑巨大，不斷加劇著競爭的激烈程度。同時隨著軟硬件技術的快速發展，現有大數據基礎技術開始快速發展和演變，不斷涌現新的技術熱點引領大數據生態圈。大數據快速發展的趨勢會持續很長一段時間，數據中還隱藏著巨大價值有待發掘，讓我們拭目以待。

星環科技簡介：星環科技是目前國內極少數掌握企業級大數據基礎軟件技術的供應廠商，從事大數據時代核心平臺數據庫軟件的研發與服務。在全球去IOE的大背景下，Hadoop技術已成為公認的替代傳統數據庫的大數據產品。公司產品Transwarp Data Hub (TDH)的整體架構及功能特性比肩硅谷同行， 三大組件Transwarp Hyperbase, Transwarp Stream，Transwarp Inceptor, 產品性能在業界處于領先水平。(公司官網:www.transwarp.io)