《企業網D1Net》12月15日訊
【2014年12月,上海】 2014年12月12日,由中國計算機學會(CCF)主辦,CCF大數據專家委員會承辦,中科院計算所與CSDN共同協辦的 2014中國大數據技術大會(Big Data Technology Conference 2014,BDTC 2014)在北京拉開帷幕。星環信息科技(上海)有限公司(以下簡稱星環科技)參會,CTO孫元浩發表了題為“2015年大數據基礎技術的演進趨勢“的主題演講。 大會匯聚了近千位大數據行業的CIO、CTO、架構師、IT經理、工程師、Hadoop技術愛好者,以及從事Hadoop研究與推廣的IT廠商和技術專家等,共同探討時下最新技術熱點,大數據生態圈技術的發展與演變。
星環科技孫元浩在BDTC大會做主體演講
孫元浩的演講分析了大數據基礎技術的最新進展,并基于星環科技在大數據基礎軟件的研發經驗和中國大數據應用的進展,作出2015年大數據基礎技術演進方向的預測。”孫元浩表示:“大數據基礎軟件技術在過去幾年中得到了飛速發展,從Hadoop誕生至今,幾乎每一年都有突破性的技術進展,2008-2009年Hadoop解決擴展性瓶頸,開始達到5000臺以上的集群規模,2010-2011年HBase開始超越Cassandra成為穩定高可擴展的NoSQL數據庫,2012年多種SQL on Hadoop技術誕生,交互式SQL分析一度成為最熱門的技術, 2013年 YARN資源管理框架成為多種計算框架的資源管理平臺,被稱為分布式操作系統,2014 Spark技術得到廣泛支持并即將替代Map/Reduce成為主流計算引擎。在未來的一年內,隨著硬件和軟件技術的快速發展,現有大數據基礎技術將得到快速發展和演變,必將涌現新的技術熱點引領2015年的大數據生態圈。”
在談到星環科技Hadoop發行版的產品發展時,他表示:“大數據成為時下熱門關鍵詞,對于大數據的關注度與日俱增,由于市場需求的不斷增加,各種前沿技術也在不斷挑戰自己的發展速度,星環也將緊跟大數據領域的最新技術熱點和發展趨勢,結合市場需求來推進星環Transwarp Data Hub的研發及市場應用”。
中美Hadoop發行版領軍人物在星環科技展臺前交流 (孫元浩:星環科技創始人&CTO, 與Mike Orlson:Cloudera 創始人&主席)
同時在本次大數據技術大會上,星環科技發布了Transwarp Data Hub(TDH)4.0版本,大幅增強了Transwarp Inceptor交互式SQL分析引擎、Transwarp Hyperbase實時數據庫和Transwarp Stream流計算引擎的功能和性能。
Inceptor 4.0支持SQL'99和SQL2003標準,提供大部分的PL/SQL語法兼容,全新設計了內存計算平臺Holodesk并支持數據的動態插入和索引,并且進一步優化了基于Spark的SQL引擎的執行效率,因此相比開源 Hadoop 版本有 10x~100x 倍性能提升,可處理GB到PB級別的數據。此外Inceptor 4.0強化了安全方面的認證和控制,并且整合了更多的數據挖掘算法和深度學習算法,因此可以滿足絕大部分企業用戶的數據分析、挖掘等需求。
目前TPC-DS基準測試集能夠完整的在Inceptor上運行,并且無論是測試案例數還是性能都完勝美國主流的Hadoop廠商。
HyperBase 4.0增加了基于SQL的分布式事務操作并做了大量優化,另外推出創新的CBI (Cost Based Indexing)技術可以讓計算引擎在查詢時能夠根據各個索引的成本來選擇最合適的查詢方案,從而有效的將查詢延時降低到百毫秒級,因此可以滿足大部分的OLTP應用場景。
Stream 4.0在系統安全和監控方面做了重大升級,增加了對Kafka消息隊列以及Spark On Yarn的Kerberos安全認證來確保計算時的數據安全。另外Stream 4.0推出了創新的基于SQL的實時統計分析功能,可以通過SQL來做實時的分析與計算,降低了開發者準入門檻。
詳情請見:http://transwarp.cn/news/detail?id=35
相信在眾多國內外大數據行業從業者的參與下,大會將會成為大數據技術與應用深度結合的新起點,必將引領新一輪大數據行業的技術風暴。
星環科技是目前國內極少數掌握企業級大數據Hadoop和Spark核心技術的高科技公司,從事大數據時代核心平臺數據庫軟件的研發與服務。在全球去IOE的大背景下,Hadoop技術已成為公認的替代傳統數據庫的大數據產品。公司產品Transwarp Data Hub (TDH)的整體架構及功能特性比肩硅谷同行,產品性能在業界處于領先水平。