2014年4月10日消息,在中國數據庫技術大會上,星環信息科技(上海)有限公司(以下簡稱“星環科技”)正式推出Transwarp Data Hub 3.0,--含最熱門的Hadoop 2.2,Spark,內存分析引擎,再次走到大數據平臺技術的前沿。
此次Transwarp Data Hub3.0在之前全面支持Hadoop 2.0和Spark技術的基礎上,增加了全面支持PL/SQL和R語言的交互式分析引擎Inceptor,實時在線處理引擎Hyperbase和流處理引擎Transwarp Stream。
據了解,Inceptor分析引擎為數據倉庫和交互式數據分析挖掘應用而設計,一旦數據導入Inceptor,無需編程,即可使用BI和可視化工具進行交互式數據探索和統計分析,使得Hadoop大數據平臺的使用難度大大降低。據星環科技聯合創始人兼CTO孫元浩介紹,Inceptor技術架構上由分布式內存列式存儲引擎、改進的Spark計算引擎、PL/SQL編譯器以及R語言并行算法庫組成。其突出特點是性能快、應用遷移方便、并行數據挖掘能力強。當數據被Inceptor緩存在內存或者SSD中時,SQL執行性能已經大大超過主流的MPP數據庫和傳統關系數據庫。Inceptor支持大部分PL/SQL以及SQL’99標準,相比Hadoop社區版和Cloudera Impala,SQL支持更加完整,這使得Inceptor可以容易地進入數據分析類應用市場。而對R語言的支持使得用戶可以通過R編程語言訪問分布式內存,并且可以運行常見的分類、聚類等算法的并行化版本,加快了數據挖掘的效率,同時整合圖形化工具RStudio也使得R語言的開發更方便。
“Inceptor已經應用在電信、金融和電商等行業的數據分析業務中。因為執行性能非常快,有的客戶已經把Inceptor作為7x24在線業務的一部分,通過Inceptor準實時計算CDN緩存數據的熱點分布,并快速調整前端CDN服務器的緩存策略,從而自適應地提高緩存的命中率。”孫元浩表示。
Hyperbase的推出主要為了解決HBase存在的缺乏索引檢索和離線分析低效的兩大問題。“雖然HBase基于主鍵的在線查詢很快,但國內多數用戶希望單個集群能夠同時支持OLAP在線查詢和批處理分析兩種不同的業務,也能夠根據其他非主鍵字段進行快速檢索”。Hyperbase通過高速快照掃描、YARN資源管理以及三種不同索引技術較好地解決了上述問題。
“過去一年Hadoop技術得到了廣泛的認可,以電信和銀行為代表的眾多行業都開始了不同規模的使用。用戶也明顯體會到了Hadoop平臺的潛力。”星環科技CTO孫元浩表示,“同時,當用戶逐漸把新數據存儲在Hadoop集群和把現有數據遷移到Hadoop集群時,會面臨各種場景,也同時會面對大數據,中數據和小數據各種應用共存的情況。這也是傳統MPP數據庫+Hadoop混合架構這種過渡方案出現的原因。但實際上,這種混合架構不僅大大增加了企業IT系統的復雜程度,也使得企業隨時面臨數據遷移的棘手問題。對Hadoop的持續改進完全可以解決Hadoop只能處理大數據和對現有應用遷移困難的問題。這也是Transwarp Data Hub3.0的目標。通過內存計算、高效索引、執行優化和高度容錯的技術,使用戶能得到一站式的數據處理平臺,從小數據(GB)、中數據(TB)到大數據(PB)都能夠平滑過渡和擴展,無需采用復雜的混合架構。”
據記者獲悉,星環科技已經在國內多個行業建立大數據上線案例,產品和服務得到客戶的普遍認可,目前公司業務正在快速擴展,已在北京等地設立辦事處,正在大量招聘大數據技術人才。
關于星環科技
星環信息科技(上海)有限公司是一家高科技大數據創業公司,致力于大數據基礎軟件的研發,立志成為國內外領先的大數據基礎技術廠商,已經在國內建立眾多大數據上線案例,案例規模和數量處于國內領先地位。我們愿意與做大數據應用軟件的ISV和集成商緊密合作,共贏未來。公司初創,充滿機遇,歡迎有創業夢想的技術精英的加盟。