很難說(shuō)Netezza創(chuàng)始人們是否預(yù)見(jiàn)到了八年后大數(shù)據(jù)和云計(jì)算浪潮的澎湃氣勢(shì)，也很難說(shuō)Netezza在創(chuàng)立初期就采用以IBM System X服務(wù)器為基礎(chǔ)的硬件是為了有朝一日融入藍(lán)色巨人，但是創(chuàng)始人的目標(biāo)即使并非細(xì)節(jié)到這兩件事情上，其創(chuàng)立的Netezza公司作為Appliance一體機(jī)市場(chǎng)的開(kāi)山之作，也絕對(duì)可以稱得上是高瞻遠(yuǎn)矚。

Netezza在2010年11月作價(jià)17億美元被IBM收購(gòu)，這或許印證了當(dāng)初創(chuàng)始人們采用IBM基礎(chǔ)硬件是多么的英明，也或許驗(yàn)證了藍(lán)色巨人對(duì)大數(shù)據(jù)、一體化概念和應(yīng)用集成系統(tǒng)的看好，但在在融入IBM之后——尤其是被歸入IBM軟件集團(tuán)而非IBM系統(tǒng)與科技事業(yè)部——這家公司確實(shí)證明了自己存在和被收購(gòu)的價(jià)值，且不僅僅是在數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)領(lǐng)域。

IBM Netezza不僅以超乎想象的速度在業(yè)界發(fā)展，繼續(xù)履行Netezza的創(chuàng)始人們一開(kāi)始就認(rèn)準(zhǔn)的信條：更好的融合軟件，更好的保持自己在集成性能方面的領(lǐng)先優(yōu)勢(shì)，更在藍(lán)色巨人的懷抱下開(kāi)始發(fā)展更為廣闊的產(chǎn)品家族，并與IBM的軟件產(chǎn)品家族開(kāi)始深度的整合與融合——DB2 Analytics Accelerator實(shí)現(xiàn)了Netezza與DB2、z/OS的緊密整合。

而在成為“IBM Netezza”之后，這家公司坐擁IBM強(qiáng)大的市場(chǎng)影響力和豐富的用戶資源，開(kāi)始面對(duì)更加廣闊的市場(chǎng)，加之Netezza作為數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)的開(kāi)山之作，這幾年又不斷地進(jìn)行更新升級(jí)，Netezza在大數(shù)據(jù)、云計(jì)算以及非結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)展現(xiàn)出其在數(shù)據(jù)分析、數(shù)據(jù)挖掘方面的強(qiáng)大實(shí)力，雖然在數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)市場(chǎng)上Netezza有著強(qiáng)勁的競(jìng)爭(zhēng)對(duì)手——Oracle推出的Exadata目標(biāo)直指Netezza——但Netezza如今仍然信心滿滿的打算在中國(guó)市場(chǎng)大干一場(chǎng)。

IBM Netezza產(chǎn)品管理和產(chǎn)品市場(chǎng)營(yíng)銷副總裁Phil Francisco

 “今天我們談到最快、最新的一體機(jī)，其實(shí)已經(jīng)比最初的在性能上提高了有300倍了，雖然說(shuō)我們已經(jīng)更新到了第四代，但是已經(jīng)不可同日而語(yǔ)。”IBM Netezza產(chǎn)品管理和產(chǎn)品市場(chǎng)營(yíng)銷副總裁Phil Francisco認(rèn)為，雖然競(jìng)爭(zhēng)對(duì)手勢(shì)頭正猛，但是八年來(lái)建立的領(lǐng)先優(yōu)勢(shì)與用戶基礎(chǔ)，讓Netezza在市場(chǎng)上并無(wú)隱憂。

平臺(tái)解析：Netezza不可思議

與競(jìng)爭(zhēng)對(duì)手的X86平臺(tái)不同，Netezza平臺(tái)雖然同樣基于標(biāo)準(zhǔn)X86平臺(tái)，但是其設(shè)計(jì)理念糅合了標(biāo)準(zhǔn)化平臺(tái)、專用協(xié)處理器（加速器）、軟件整合平臺(tái)等多種概念，作為數(shù)據(jù)倉(cāng)庫(kù)“設(shè)備（Appliance）”而非數(shù)據(jù)倉(cāng)庫(kù)硬件平臺(tái)或單純的軟硬件整合。

Netezza面向數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，將數(shù)據(jù)庫(kù)、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)挖掘集成在一個(gè)優(yōu)化的、緊湊的Appliance系統(tǒng)中，而非一系列的硬件平臺(tái)或是非緊耦合的解決方案，其大致基于三點(diǎn)理念設(shè)計(jì)：1、數(shù)據(jù)處理盡可能接近數(shù)據(jù)源：利用現(xiàn)場(chǎng)可編程邏輯門陣列(FPGA)組件盡早的將多余的數(shù)據(jù)從數(shù)據(jù)流中過(guò)濾掉，以減少其對(duì)硬盤空間的占用；2、平衡的大規(guī)模并行架構(gòu)：Netezza的架構(gòu)結(jié)合了SMP(對(duì)稱多處理)和MPP(大規(guī)模并行處理)的優(yōu)點(diǎn)，建立了一個(gè)能以極快的速度分析PB量級(jí)數(shù)據(jù)的設(shè)備。

該架構(gòu)中的每一個(gè)組件，包括處理器、FPGA、內(nèi)存和網(wǎng)絡(luò)連接都經(jīng)過(guò)了精心的挑選和優(yōu)化，在硬盤物理?xiàng)l件許可的情況下，以最低的成本和能耗快速地處理數(shù)據(jù)；3、擁有高級(jí)分析的平臺(tái)：MPP和在接近數(shù)據(jù)源的地方進(jìn)行數(shù)據(jù)處理的方法也同樣適用于針對(duì)于大型數(shù)據(jù)集所進(jìn)行的高級(jí)分析,Netezza系統(tǒng)能夠輕松地將復(fù)雜的非SQL算法嵌入到MPP流的處理組件中，并且沒(méi)有并行程式或網(wǎng)格程式所具有的典型復(fù)雜性。

除此以外，其設(shè)計(jì)理念還包括簡(jiǎn)單的設(shè)備、加快創(chuàng)新和性能提升、靈活的配置和極強(qiáng)的可擴(kuò)展性。但上面所說(shuō)的三個(gè)特點(diǎn)是Netezza之所以稱為“Netezza”的重要原因，沒(méi)有之一。

Netezza與純X86平臺(tái)最大的不同就是構(gòu)成被稱為渦輪的MPP引擎的S-Blades智能處理節(jié)點(diǎn)，在每一個(gè)S-Blades節(jié)點(diǎn)中，Netezza都配備了多核CPU、多引擎FPGA和GB級(jí)別的RAM，而FPGA更是成為這個(gè)X86平臺(tái)中做特殊的組成部分。

按照IBM官方的說(shuō)法，F(xiàn)PGA主要用于“加速數(shù)據(jù)的處理速度”，作為協(xié)處理器，這塊FGPA實(shí)際上基于其本身的現(xiàn)場(chǎng)可編程的特點(diǎn)，可以加快改造后的PostgreSQL數(shù)據(jù)庫(kù)的處理速度，而每個(gè)刀片上都配置8個(gè)FPGA的“高端配置”，將數(shù)據(jù)從存儲(chǔ)中調(diào)出并進(jìn)行初篩的速度大為提高，這至少促成了Netezza的兩方面能力：一是比傳統(tǒng)系統(tǒng)超過(guò)10倍的速度提升（事實(shí)證明，緊靠X86處理器還有有些力不從心）；二是借助如此快的數(shù)據(jù)篩選和提取速度，使得Netezza目前最高端版本的TwinFin（系統(tǒng)節(jié)點(diǎn)）可以達(dá)到PB級(jí)別的客戶數(shù)據(jù)容量。

而在Netezza中，結(jié)合了SMP(對(duì)稱多處理)和MPP(大規(guī)模并行處理)混合結(jié)構(gòu)實(shí)現(xiàn)了系統(tǒng)高可用性、接口標(biāo)準(zhǔn)化、負(fù)載均衡任務(wù)分配及高速智能處理的功能， SMP+MPP的混合架構(gòu)功不可沒(méi)——據(jù)IBM Netezza大中華區(qū)渠道經(jīng)理鄭曉軍表示，Netezza利用X86處理器架構(gòu)了SMP和MPP架構(gòu)，而非POWER+X86的架構(gòu)，但是去可以得到同樣的高性能和高可靠性，這不得不說(shuō)是Netezza設(shè)備上的一個(gè)亮點(diǎn)。

作為數(shù)據(jù)倉(cāng)庫(kù)一體化系統(tǒng)，其工作內(nèi)容即不僅僅限于SQL語(yǔ)句，這也就要求Netezza同樣支持高速、高可靠的非SQL算法，而Netezza系統(tǒng)能夠輕松地將復(fù)雜的非SQL算法嵌入到MPP流的處理組件中，且沒(méi)有并行程式或網(wǎng)格程式所具有的典型復(fù)雜性。這種針對(duì)龐大的數(shù)據(jù)量能夠以“流水線”方式對(duì)復(fù)雜數(shù)據(jù)進(jìn)行分析處理的能力，能夠消除將數(shù)據(jù)轉(zhuǎn)移到單獨(dú)硬件的延遲和開(kāi)銷, 為數(shù)據(jù)倉(cāng)庫(kù)和高級(jí)分析方法的融合提供了一個(gè)理想的平臺(tái)，同時(shí)其性能也提高了幾個(gè)數(shù)量級(jí)。

從以上幾點(diǎn)可以看出，Netezza與傳統(tǒng)的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)解決方案不同，從平臺(tái)設(shè)計(jì)、架構(gòu)搭建初始，就是按照數(shù)據(jù)處理、分析、挖掘和存儲(chǔ)來(lái)進(jìn)行設(shè)計(jì)，而非面向通用的計(jì)算或存儲(chǔ)應(yīng)用，可以說(shuō)是“?？顚Ｓ茫ㄖ苹O(shè)計(jì)”，SMP+MPP的混合模式、FPGA的引入以及大容量的RAM都是為加快此類應(yīng)用的速度和效率而設(shè)計(jì)——Netezza可能不是一款好的通用系統(tǒng)，但高度定制化的Netezza想必會(huì)是一款好的數(shù)據(jù)倉(cāng)庫(kù)設(shè)備。

這也顯示出了Netezza與競(jìng)爭(zhēng)對(duì)手的最基本的不同：為應(yīng)用而定制硬件，而不是為了硬件部署應(yīng)用——這完全是兩個(gè)概念，對(duì)于數(shù)據(jù)庫(kù)應(yīng)用來(lái)說(shuō)，加快SQL語(yǔ)句執(zhí)行、進(jìn)行數(shù)據(jù)篩選和負(fù)載均衡是必備，針對(duì)于此設(shè)計(jì)的系統(tǒng)能夠更適合于此類型的應(yīng)用，這也就是為什么Netezza宣稱能夠達(dá)到普通系統(tǒng)10-100倍的原因之所在了。

大數(shù)據(jù)時(shí)代來(lái)臨 傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)受限

“有時(shí)候，大數(shù)據(jù)比你希望的還要大，而出于合規(guī)或商業(yè)上的原因，你還必須將它們存儲(chǔ)更長(zhǎng)的時(shí)間。沒(méi)什么比從磁帶中獲取舊得要發(fā)霉的數(shù)據(jù)更糟糕的了，而如果還是一大堆這樣的數(shù)據(jù)的話，那就更糟糕了，而且還可能出問(wèn)題。”有鑒于此，IBM的Netezza將TwinFin數(shù)據(jù)倉(cāng)庫(kù)設(shè)備在刀片和磁盤上進(jìn)行了重新配置，加大了磁盤的分量而降低了刀片的分量。這樣用戶實(shí)際上可以自己創(chuàng)建一個(gè)近線的數(shù)據(jù)倉(cāng)庫(kù)。

從目前分析機(jī)構(gòu)的調(diào)查來(lái)看，存儲(chǔ)基礎(chǔ)設(shè)施的容量、性能隨著硬盤容量和處理器性能的提升，以及固態(tài)硬盤等新技術(shù)的發(fā)展，能夠基本滿足企業(yè)業(yè)務(wù)的需求，數(shù)據(jù)增長(zhǎng)所帶來(lái)的挑戰(zhàn)，正在逐步開(kāi)始轉(zhuǎn)移到更為深入的數(shù)據(jù)分析與數(shù)據(jù)挖掘，以及如何通過(guò)數(shù)據(jù)信息、知識(shí)化的數(shù)據(jù)管理企業(yè)的業(yè)務(wù)需求——存儲(chǔ)系統(tǒng)的發(fā)展勉強(qiáng)遵循著類似摩爾定律的發(fā)展規(guī)律，但數(shù)據(jù)分析和數(shù)據(jù)挖掘卻并未在“這條規(guī)則的映照之下”。

企業(yè)需要利用先進(jìn)的技術(shù)和解決方案來(lái)管理數(shù)據(jù)增長(zhǎng)，將數(shù)據(jù)轉(zhuǎn)化為可操作的信息，并駕馭這些信息，使其成為提供對(duì)業(yè)務(wù)洞察和帶來(lái)創(chuàng)新的戰(zhàn)略性資產(chǎn)。此外，大型多媒體、基于互聯(lián)網(wǎng)或其他形式的數(shù)千兆字節(jié)“大數(shù)據(jù)”不斷增長(zhǎng)——這體現(xiàn)出，非結(jié)構(gòu)化數(shù)據(jù)作為從中挖掘信息及其他商業(yè)用途的競(jìng)爭(zhēng)資源，其增長(zhǎng)變得越來(lái)越重要。

企業(yè)管理者們需要使‘大數(shù)據(jù)’的分析更好地符合人們的行為，使人們進(jìn)行更深入的分析、更具相關(guān)性的洞察，推動(dòng)創(chuàng)新、促進(jìn)研究，更好地協(xié)作，建立更加可持續(xù)發(fā)展的IT基礎(chǔ)架構(gòu)。

以今年8月份開(kāi)始采用Netezza Twinfin3數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)產(chǎn)品，將Netezza作為數(shù)據(jù)中心建設(shè)、快速運(yùn)行分析的數(shù)據(jù)平臺(tái)系統(tǒng)的聯(lián)動(dòng)優(yōu)勢(shì)為例，這家公司截至2010年12月底，服務(wù)用戶超過(guò)4億，年處理資金300億元，每天大概交易筆數(shù)15萬(wàn)-20萬(wàn)。對(duì)于這樣的數(shù)據(jù)和記錄量級(jí)來(lái)說(shuō)，傳統(tǒng)的數(shù)據(jù)庫(kù)+數(shù)據(jù)挖掘工具或數(shù)據(jù)倉(cāng)庫(kù)模式顯然已經(jīng)難以承載。

更多大數(shù)據(jù) 更多Netezza

據(jù)Phil Francisco表示，Netezza很早就認(rèn)識(shí)到大數(shù)據(jù)是未來(lái)的趨勢(shì)，因此在設(shè)計(jì)TwinFin的時(shí)候，就考慮如何設(shè)計(jì)高容量、高性能的高端版本，目前除了供研發(fā)測(cè)試使用的Netezza 100和面向1TB-1.5PB級(jí)高性能數(shù)據(jù)倉(cāng)庫(kù)和分析的Netezza 1000，今年夏天“Netezza推出了High Capacity”，“它將提供500TB到甚至是10PB