2012 對于 IT 行業來說，無疑是大數據之年。據 IDC 統計， 2011 年數據總量將達到 1.8 萬億 GB ，對這些海量數據的分析已經成為企業和機構非常重要且緊迫的需求。面臨著占據不到 15% 的傳統標準化、結構化的信息，企業已經無法捕捉正確的、全部的市場信息，剩下的 85% 非結構化數據則廣泛存在于社交網絡、互聯網和電子商務之中。面對席卷而來的大數據浪潮，企業更需要一種全新的技術，幫助他們實時處理海量的復雜性信息，挖掘大數據分析的價值。
在大數據分析中，傳統的數據庫部署已經不能承載 TB 數據，也不能很好的支持高級別的數據分析。 “大數據的應用關鍵在于可高度擴展的分析，包括處理海量、高速、種類繁多以及無法預測的數據類型等極端情況”， Forrester 研究機構于 10 月發布的報告《企業 Hadoop ：新興的大數據核心》指出。
在大數據分析領域， Hadoop 和 MapReduce 越來越受到關注。 Hadoop 是一個開放源碼的分布式數據處理系統架構，主要面向存儲和處理結構化、半結構化或非結構化等真正意義上的大數據(通常成百上千的 TB 甚至 PB 級別數據)應用。 MapReduce 能將大數據問題分解成多個子問題，將它們分配到成百上千個處理節點之上，然后將結果匯集到一個小數據集當中，從而更容易分析得出最后的結果。
Sybase IQ 15.4 采用業內領先的 MPP 列式數據庫和最先進的數據庫內分析技術，并革命性地加入 MapReduce 與 Hadoop 集成，以應對大數據時代的分析挑戰，開啟洞察關鍵業務的能力。 Sybase IQ 15.4 正在打破數據分析的壁壘，徹底改變 “ 大數據分析 ” 領域。
Sybase IQ 15—— 創新性的列式數據庫
面對大數據分析的全新需求， Sybase IQ 的列式數據庫無疑更能夠駕馭大數據浪潮。
相比于傳統的“行式存儲”的關系型數據庫， Sybase IQ 使用了獨特的列式存儲方式，在進行分析查詢時，僅需讀取查詢所需的列，其垂直分區策略不僅能夠支持大量的用戶、大規模數據，還可以提交對商業信息的高速訪問，其速度可達到傳統的關系型數據庫的百倍甚至千倍。“隨著 Sybase IQ 不斷地在分析應用 POC 測試中拔得頭籌，有時甚至超過其他對手 100 倍之多”， Gartner 評價道，“ Sybase IQ 逐漸成為從數據集市到企業數據倉庫架構最令人渴望的 DBMS (數據庫管理系統)。 ”
在此基礎上， Sybase IQ 15 提升了核心的引擎基礎架構能力，包括數據加載和查詢性能、改進的安全架構、強大的集群管理和因數據分區而增強的管理等等。自 2009 年推出以來， Sybase 陸續發布了 Sybase IQ 15.1 、 15.2 、 15.3 以至最新的 Sybase IQ 15.4 版本，每個版本都著力于增加新的核心能力以促進更深入的高級分析。 Sybase IQ 15.3 在內置分析、全文檢索等功能基礎上，采用 PlexQ 技術的全共享 MPP 架構，擴展后可支持實時訪問數千個用戶、多個混合工作負載和大規模數據集，將性能、分析、靈活性提高前所未有的高度，從而重新定義企業級業務分析。 Sybase IQ 15.4 已將 Sybase IQ 的性能、分析、靈活性提升到了更高的級別，進一步推動了其在商業智能方面業已非常強勢的增長。
長期以來， Sybase IQ 這些技術革新使得 Sybase IQ 一直以來位于列式分析服務器市場的領導者地位。目前，全球已有 2 , 0 00 多名用戶采用了 Sybase IQ 創新的列式處理方法，為其關鍵的分析和報表系統提供支持。在過去三年，每年都有大約 200 個新客戶加入 Sybase IQ 用戶陣營。
Sybase IQ 15 —— 采用更靈活、效益更高的 PlexQ 技術
Sybase 在 2010 年推出的 Sybase IQ 15.3 就采用了全共享架構的 PlexQ 技術，該技術重新定義了企業范圍的業務信息，全共享架構可輕松支持涉及海量數據集、海量并發用戶數和獨特工作流程的多種復雜分析樣式，大大增加了其效益。與其他 MPP 解決方案不同， Sybase IQ 的 PlexQ 網格技術能夠動態管理可輕松擴展并且專用于不同組和流程的一系列計算與存儲資源中的分析工作量，從而使其能夠以更低的成本更輕松地支持日益增長的數據量以及快速增長的用戶社區。
基于成熟的 PlexQ 技術構建的 Sybase IQ 采用下圖所示的三層構架：
基本層：數據庫管理系統 (DBMS) ，這是一個全共享 MPP 分析 DBMS 引擎，是 Sybase IQ 最大的獨特優勢。
第二層：分析應用程序服務層，其提供 C++ 和 Java 數據庫內 API ，并可實現與外部數據源的集成和聯邦；包括四種 與 Hadoop 的集成方法。
頂層： Sybase IQ 生態系統，由四個強大且不同的合作伙伴和認證 ISV 應用程序組成。
基于這種 PlexQ 技術， Sybase IQ 15.4 將大數據轉變成可指揮每個人都行動的情報信息，從而在整個企業的用戶和業務流程范圍內輕松具備大數據的分析能力。
Sybase IQ 15.4 —— 面向大數據的高級分析平臺
Sybase IQ 提供了一個統一的 DBMS 平臺，可使用各種算法分析不同類型的數據，這包括結構化數據和半結構化數據。此外，該版本還做了以下的擴充：擴大了對數據庫內分析功能的支持，包括 MapReduce API 、預測模型標記語言( PMML )支持、與 Hadoop 的集成以及基于 Sybase IQ PlexQ 大規模并行處理( MPP )技術的統計和數據挖掘算法的擴展庫。新的 API 幫助開發人員快速、安全地實施數據庫內算法，實現優于現有方法 10 倍以上的性能加速。
[page]
Sybase IQ 15. 4 具有以下主要功能 :
1.更強的數據管理
大量增強的功能改善了 Sybase IQ 的數據管理、部署和可維護性。
· 更快速的批量加載 : 批量加載數據通過 ODBC 和 JDBC 接口插入到 Sybase 中，從而實現具有更高可擴展性的應用程序，同時可極大提高加載性能。
· 更出色的文本壓縮 : 更出色地對 VARCHAR 、 VARBINARY 、 CHAR 和 BINARY 壓縮可實現以更高效率、更低成本部署高性能文本分析應用程序，同時極大提高壓縮速率。
2.豐富的應用程序
Sybase IQ 15.4 增加了一系列 API 和工具，用于創建在數據庫內運行的高級分析算法，并且能通過 PlexQ 網格能充分利用大規模并行處理的能力。
支持自帶 Map Reduce 的表參數化用戶自定義函數 (UDF) —— 這是 Sybase IQ 的本地應用程序編程接口，可使應用程序編程人員在 Sybase IQ 數據庫服務器內構建和部署 C++ 庫。使用這些 API 可實現專有算法或算法包，安全地位于 Sybase IQ 內，通過在保存于 Sybase IQ 數據庫服務器中的數據附近執行，以快 10 倍的速度返回結果。此框架可實現在 Sybase IQ 中開發和部署 MapReduce 程序，以分析涉及結構化、半結構化和非結構化數據格式的超大數據集。 C++ 、 Map 和 Reduce 算法通過標準 SQL 加以調用，并且由 Sybase IQ 強大的查詢引擎自動在 PlexQ 網格中進行分發和并行化。
Hadoop 集成與聯邦— —將基于 Hadoop 的分析的結果與運行于 Sybase IQ 中的查詢相集成。 Sybase 是唯一一家提供 4 種不同方法將標準 SQL 查詢 ( 客戶端聯邦、 ETL 處理、數據聯邦和查詢聯邦 ) 中的 Hadoop 數據和分析與分析數據庫相集成的廠商。 Sybase IQ 15.4 充分利用 Hadoop 來識別海量結構化和非結構化數據集中的相關數據點，然后將 Hadoop 中的相關數據點集成到 Sybase IQ 中，以便利用傳統數據和來自其他數據源的結果集進行分析。
預測模型標記語言 (PMML) 支持—— 通過 Zementis 提供的認證插件，自動執行使用業界標準語言定義在 SAS 、 SPSS 、“ R ”等工具以及其他流行預測工作平臺產品中所創建的分析模型。充分利用流行的分析工具構建預測模型，自動執行在 Sybase IQ 中部署的預測模型，并使用業界標準語言，以避免形成廠商捆綁。
“ R ”集成 : —— 用戶可使用 RJDBC 接口，以及流行的開源統計工具“ R ”查詢 Sybase IQ 數據庫。此外，用戶還可以將來自 Sybase IQ 的“ R ”庫作為 SQL 查詢中的函數調用加以執行，并返回結果集。
3.數據庫內分析庫
更新的數據庫內統計和數據挖掘庫 ( 來自 Fuzzy · Logix 的 DBLytix): 在 Sybase IQ 內運行的高級分析、統計和數據挖掘算法庫。 Sybase IQ 15.4 中的更新可使該庫充分利用一些數據挖掘算法中的 MapReduce API 進行大規模并行處理，并且包含多種新函數，例如支持向量機、神經網絡和 Adaptive Boosting 。
4.擴展的生態系統
Sybase IQ 還非常適合面向大數據分析的端到端全面解決方案。重要的工具和互補的合作伙伴產品可在以下方面提供幫助 :
Sybase PowerDesigner 16.1 參考架構生成器 : 可通過在實施 Sybase IQ 數據倉庫和數據集市時生成最佳硬件配置，快速實現價值。
Sybase Control Center(SCC) : 改進方面包括大量管理功能，例如過程、函數、 UDF( 表、 TPF 和 JavaEE ) 及文本索引。用戶能夠更輕松地管理 SCC 中頻繁使用的功能，以及更輕松地部署內置、外部和文本數據庫內分析。此外該版本還包含了新的 SQL 執行窗口，該窗口可實現易于測試的特定 SQL 例程。
已通過 SAPBusinessObjects? 認證 : Sybase IQ 15.4 已通過認證，可與 SAP Business Objects Business Intelligence Platform 4.0 和 SAP Business Objects Data Services 4.0 配合使用，以提供豐富的端到端業務分析框架。
基于合作伙伴的解決方案 : Sybase IQ 擁有基于與 Solix 、 KXEN 、 Quest 、 BMMSoft 、 Zementis 及 Fuzzy Logix 之間的合作伙伴關系的多種新解決方案，從而可使 Sybase IQ 提供可滿足各種需求的優質解決方案。
總結
以上新功能充分利用 PlexQ 智能分析網格技術，能夠在一個企業級數據分析平臺上執行大規模分析。憑借 Sybase IQ 15.4 ，企業能夠有效地將海量數據轉變成可操作的信息，管理海量增長的半結構與非結構化數據、實現復雜數據環境下高效的大數據分析。
在大數據浪潮下， Sybase 從行業的變化以及用戶的真實需求出發，不斷革新技術并調整服務，為全球用戶提供適應大數據環境的產品與解決方案。
京公網安備 11010502049343號