IBM公司近日宣布推出基于Apache Spark的新型z/OS平臺，以幫助企業(yè)使用IBM大型主機(jī)更加方便、快捷地訪問和分析數(shù)據(jù)。此舉將給數(shù)據(jù)科學(xué)家和開發(fā)人員創(chuàng)造新的機(jī)會，幫助他們對系統(tǒng)豐富的數(shù)據(jù)集進(jìn)行高級分析，以實現(xiàn)實時洞察。Apache Spark是一種開源的分析框架，IBM此次推出的基于Spark的z/OS平臺將支持其在z/OS主機(jī)操作系統(tǒng)上實現(xiàn)本地運(yùn)行。新的操作系統(tǒng)平臺可以幫助數(shù)據(jù)科學(xué)家打通分析庫和底層文件系統(tǒng)之間的聯(lián)系，無需進(jìn)行提取、轉(zhuǎn)換和加載(ETL)即可對數(shù)據(jù)實現(xiàn)就地分析。

在認(rèn)知時代，數(shù)據(jù)作為一種新的自然資源能夠被計算機(jī)系統(tǒng)所理解、推理和學(xué)習(xí)，但企業(yè)必須在數(shù)據(jù)價值有效期內(nèi)對其進(jìn)行分析，形成洞察并予以應(yīng)用。新的z/OS平臺配有來自業(yè)務(wù)合作伙伴的加速器，可以幫助企業(yè)更便利地利用大型主機(jī)的數(shù)據(jù)和能力，來了解市場變化和客戶的個性化需求，從而對業(yè)務(wù)及時進(jìn)行調(diào)整，更快實現(xiàn)價值。

IBM大型主機(jī)被全球各大銀行、保險公司、零售商和運(yùn)輸公司廣泛用于關(guān)鍵數(shù)據(jù)處理和交易。它擁有業(yè)界最快的商用微處理器，以及內(nèi)置的交易分析功能，可以在不超過2毫秒的時間內(nèi)為某項交易的預(yù)測模型評分。目前，企業(yè)可以利用這些功能，在無需從主機(jī)中下載數(shù)據(jù)(without moving data off the mainframe)的條件下通過Spark來進(jìn)行高級內(nèi)存中分析，既節(jié)省時間和成本，又降低風(fēng)險。

IBM專注于新興互聯(lián)網(wǎng)技術(shù)的院士Rod Smith表示，“各種規(guī)模的企業(yè)在向?qū)崟r數(shù)字化轉(zhuǎn)型時，都需要對自己所有的數(shù)據(jù)了解清楚，這個過程不應(yīng)花費過多的時間，也不應(yīng)有提取、轉(zhuǎn)換和加載(ETL)的風(fēng)險。現(xiàn)在我們實現(xiàn)了在包括大型主機(jī)在內(nèi)的IBM平臺上本地(natively)運(yùn)行Apache Spark，客戶可以并行執(zhí)行處理關(guān)鍵數(shù)據(jù)的交易處理系統(tǒng)和分析系統(tǒng)，同時從其他數(shù)據(jù)源獲取關(guān)聯(lián)洞察，幫助他們與客戶進(jìn)行實時互動，繼而產(chǎn)生效益。”

基于Apache Spark推出的IBM z/OS平臺具備Apache Spark core、Spark SQL、Spark Streaming、Machine Learning Library (MLlib)和Graphx等開源功能，可提供業(yè)內(nèi)唯一的主機(jī)常駐Spark數(shù)據(jù)提取解決方案。新的平臺幫助企業(yè)通過以下途徑更加高效、安全地獲取信息：

簡化開發(fā)——開發(fā)人員和數(shù)據(jù)科學(xué)家可利用他們已有的Scala、Python、R和SQL等編程經(jīng)驗來更快實現(xiàn)可用洞察的價值。

簡化數(shù)據(jù)訪問——經(jīng)過優(yōu)化的數(shù)據(jù)抽象化服務(wù)消除了復(fù)雜性，通過Apache Spark API使用熟悉的工具對IMS、VSAM、DB2 z/OS、PDSE或SMF等傳統(tǒng)格式實現(xiàn)企業(yè)數(shù)據(jù)的無縫訪問。

就地數(shù)據(jù)分析(In-place data analytics)——Apache Spark使用內(nèi)存計算來處理數(shù)據(jù)，可以快速產(chǎn)生結(jié)果。新平臺具備數(shù)據(jù)抽象和集成服務(wù)功能，可以讓z/OS分析應(yīng)用程序利用標(biāo)準(zhǔn)Spark API。這可以讓企業(yè)就地分析數(shù)據(jù)，避免產(chǎn)生提取、轉(zhuǎn)換和加載相關(guān)的高額處理和安全性問題。

開源功能——新平臺提供了一個應(yīng)用于Apache Spark、專門針對大數(shù)據(jù)設(shè)計的開源內(nèi)存計算引擎。

IBM也在與DataFactZ、Rocket Software和Zementis這三家公司進(jìn)行合作，通過IBM z/OS平臺為Apache Spark開發(fā)定制解決方案：

DataFactZ是IBM新的合作伙伴，雙方正在合作開發(fā)基于Spark SQL和MLlib的Spark分析產(chǎn)品，以用于在大型機(jī)上處理的數(shù)據(jù)和交易。

Rocket Software已經(jīng)成為IBM的長期合作伙伴，兩家公司在z/OS Apache Spark領(lǐng)域也已展開合作。比如，新的Rocket Launchpad解決方案可以讓客戶使用z/OS數(shù)據(jù)來體驗平臺功能。

Zementis正在開發(fā)支持Apache Spark的基于多個標(biāo)準(zhǔn)的執(zhí)行引擎。作為一款新的z/OS交易中預(yù)測分析(in-transaction predictive analytics)解決方案，它允許用戶在處理交易時部署和執(zhí)行高級預(yù)測模型，幫助用戶在影響最大的時候?qū)崟r地預(yù)測終端用戶需求、計算機(jī)風(fēng)險或偵測欺詐。

基于Apache Spark推出的全新z/OS平臺以及合作伙伴相關(guān)解決方案，可以讓那些從不同來源采集數(shù)據(jù)的數(shù)據(jù)科學(xué)家和數(shù)據(jù)管理員用自己喜歡的格式和工具來收集和分析數(shù)據(jù)。

IBM去年發(fā)布了一項 針對Spark的承諾，將投入3500名IBM研究人員和開發(fā)人員參與與Spark相關(guān)的項目。為了推進(jìn)支持大型主機(jī)分析的開源技術(shù)，大型主機(jī)還成了一個新的GitHub組織，以便開發(fā)人員協(xié)作建立針對Spark的z/OS工具。比如，Project Jupyter和任一NoSQL數(shù)據(jù)庫的組合都能提供靈活、可擴(kuò)展的數(shù)據(jù)處理和分析解決方案.

這一方法可以幫助件開發(fā)人員選擇他們的工具和語言，提供能夠在不同數(shù)據(jù)環(huán)境中監(jiān)控分析結(jié)果的新型視覺輔助工具，開發(fā)出新的數(shù)據(jù)處理技術(shù)和技巧，從而讓新的開源工具更易使用。

使用z/OS的開發(fā)人員現(xiàn)在已經(jīng)可以下載基于Apache Spark的IBM z/OS平臺。