IBM Platform Symphony的一個(gè)核心優(yōu)勢是，它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性，在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上，為上層各個(gè)不同的大數(shù)據(jù)應(yīng)用提供一個(gè)多租戶的環(huán)境。同時(shí)，它還能支基于Hadoop開發(fā)的大數(shù)據(jù)應(yīng)在同一個(gè)分布式基礎(chǔ)設(shè)施環(huán)境上運(yùn)行。

ZD至頂網(wǎng)軟件頻道消息(文/鄒大斌)：隨著大數(shù)據(jù)的價(jià)值得以驗(yàn)證，越來越多人的企業(yè)開始在大數(shù)據(jù)項(xiàng)目上進(jìn)行投資，這給傳統(tǒng)IT基礎(chǔ)設(shè)施帶來相當(dāng)?shù)奶魬?zhàn)。眾所周知，傳統(tǒng)IT基礎(chǔ)設(shè)施大多是為特定應(yīng)用而構(gòu)建的，在靈活性和可擴(kuò)展性上都存在明顯不足。在此背景下，人們開始尋找一種更適合大數(shù)據(jù)分析應(yīng)用的IT基礎(chǔ)設(shè)施，而IBM Platform Symphony(以下稱Platform Symphony)正是一個(gè)可以幫助企業(yè)構(gòu)建上述基礎(chǔ)設(shè)施的平臺(tái)軟件。

作為一個(gè)企業(yè)級(jí)大數(shù)據(jù)和分析平臺(tái)，Platform Symphony的一個(gè)核心優(yōu)勢是，它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性，在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上，為上層各個(gè)不同的大數(shù)據(jù)應(yīng)用提供一個(gè)多租戶的環(huán)境。同時(shí)，它還能支持Hadoop應(yīng)用，允許一些基于Hadoop開發(fā)的大數(shù)據(jù)應(yīng)用和一些并行計(jì)算分析應(yīng)用，在一個(gè)集群或者同一個(gè)分布式基礎(chǔ)設(shè)施環(huán)境上運(yùn)行。

以金融領(lǐng)域常見的交叉貨幣互換期權(quán)價(jià)值分析應(yīng)用為例。為了完成這項(xiàng)工作，用戶需要模擬未來一段時(shí)間內(nèi)本幣利率、外幣利率和外匯匯率的發(fā)展趨勢，并通過用各種不同的利率組合來計(jì)算合約在不同情況下的價(jià)值。實(shí)踐中廣泛采用蒙特卡羅路徑模擬的方式，采用這種分析方法需要模擬大量的蒙特卡羅路徑(模擬的路徑越多，其精確度越高)，計(jì)算量非常大，而且耗時(shí)。如何管理集群資源，讓其并發(fā)地完成多個(gè)蒙特卡羅路徑的模擬，是一個(gè)嚴(yán)峻挑戰(zhàn)。通過IBM Platform Symphony構(gòu)建一個(gè)分布式網(wǎng)格計(jì)算平臺(tái)，可以幫助客戶快速部署、管理、監(jiān)控資源，并保證計(jì)算的并行化，且沒有單點(diǎn)故障以提高可靠性，最終快速獲得所需要的結(jié)果。

圖1

如圖1所示，這是將交叉貨幣互換期權(quán)價(jià)值分析應(yīng)用提交給系統(tǒng)后的結(jié)果。通過這個(gè)管理界面，我們可以看到這個(gè)應(yīng)用之下有多個(gè)會(huì)話(Sessio，每個(gè)會(huì)話就是一個(gè)任務(wù)請(qǐng)求);點(diǎn)擊每個(gè)會(huì)話可以看到這個(gè)會(huì)話之下有多少個(gè)任務(wù)已經(jīng)在運(yùn)行，有多少個(gè)任務(wù)在等待資源分配;點(diǎn)擊一個(gè)具體任務(wù)還可以看到這個(gè)任務(wù)在哪個(gè)機(jī)器上運(yùn)行。對(duì)于每個(gè)會(huì)話、每一個(gè)任務(wù)都可以隨時(shí)終止、暫停以及重啟，或者對(duì)優(yōu)先級(jí)別進(jìn)行調(diào)整。不僅如此，系統(tǒng)還提供了很多各種不同的調(diào)度策略來幫助用戶實(shí)現(xiàn)更高的可靠性，以及根據(jù)其服務(wù)水平要求來實(shí)現(xiàn)這些資源的調(diào)度，從而很好地滿足各個(gè)不同的業(yè)務(wù)部門和應(yīng)用的服務(wù)水平需求。

圖2是交叉貨幣互換期權(quán)價(jià)值分析應(yīng)用的整體配置情況圖。基于這些系統(tǒng)管理員可以了解分析應(yīng)用使用的一些特點(diǎn)，同時(shí)也可以基于這些數(shù)據(jù)找到系統(tǒng)的一個(gè)瓶頸，并進(jìn)行未來的規(guī)劃，比方究竟需要多少CPU資源，是否需要增加系統(tǒng)內(nèi)存資源或者增加網(wǎng)絡(luò)帶寬等。

圖2

實(shí)際上，除了非常方便地調(diào)度和管理底層資源以支撐上層的這些專業(yè)的大數(shù)據(jù)分析應(yīng)用之外，Platform Symphony的優(yōu)勢還在于它對(duì)很多開源產(chǎn)品的支持，比如對(duì)Spark以及Ipython等的支持和兼容能力，其操作非常簡單，而且非常高效。

圖3是系統(tǒng)管理員通過Platform Symphony的管理控制臺(tái)為Sarah_BU這個(gè)用戶組創(chuàng)建一個(gè)Spark 應(yīng)用實(shí)例組，從創(chuàng)建實(shí)例組、部署應(yīng)用實(shí)例、到為實(shí)例配置所需資源都可以在管理控制臺(tái)完成，非常簡單、直觀。

圖3

圖4是以用戶(Sarah)身份進(jìn)入到管理控制臺(tái)基于管理員分配的資源進(jìn)行配置管理，提交Spark任務(wù)并對(duì)任務(wù)進(jìn)行調(diào)度和運(yùn)行監(jiān)控，比如，運(yùn)行時(shí)使用了多少計(jì)算資源、存儲(chǔ)資源等。另外，還可以通過Zeppelin Notebook隨時(shí)對(duì)Spark應(yīng)用的運(yùn)行結(jié)果進(jìn)行查詢和展現(xiàn)，非常方便。

圖4

圖5是在Platform Symphony的管理控制臺(tái)中安裝IPython Notebook后，用默認(rèn)配置啟動(dòng)一個(gè)Spark的實(shí)例組和IPython，然后提交一個(gè)Spark應(yīng)用。其整個(gè)操作都在同一個(gè)界面下完成，直觀明了。

圖5

圖6是提交一個(gè)新的Spark應(yīng)用，然后用IPython Notebook對(duì)應(yīng)用結(jié)果進(jìn)行查詢。在執(zhí)行過程中，我們還可以根據(jù)需要隨時(shí)添加新的用戶進(jìn)來，讓他可以使用IPython Notebook對(duì)Spark運(yùn)行結(jié)果進(jìn)行查詢和分析。

圖6

綜上所述，Platform Symphony為大數(shù)據(jù)分析不僅提供了強(qiáng)大的管理、調(diào)度和監(jiān)控功能，同時(shí)還提供了很強(qiáng)的對(duì)開源軟件的支持和兼容能力，不

僅讓基于Hadoop、Spark開發(fā)的應(yīng)用可以在Platform Symphony中運(yùn)行，同時(shí)能讓用戶可以用熟悉的開源工具，如IPython、Zeppelin等，來對(duì)運(yùn)行結(jié)果進(jìn)行分析和展現(xiàn)，極大地方便了數(shù)據(jù)的處理工作，最大化地提供了處理效率。

另外值得一提的是，與這些Spark、Hadoop等開源軟件相比，由于Platform Symphony是采用商業(yè)化的軟件模式開發(fā)的，因而在性能、時(shí)延等諸多方面都比開源產(chǎn)品有明顯優(yōu)勢。這也反映在一些實(shí)際應(yīng)用性能測試上，相較開源軟件，采用Platform Symphony可以有一些大幅度的提高(有些可能達(dá)到數(shù)十倍)，尤其是一些對(duì)時(shí)間延遲比較敏感的一些應(yīng)用。

via:zd至頂網(wǎng)