在2012年8月8日下午舉行的VMware & EMC大數(shù)據(jù)云高峰論壇上，VMware全球高級(jí)副總裁范承工分享數(shù)據(jù)管理技術(shù)的變遷時(shí)表示，數(shù)據(jù)、云及云的使用者的變化帶來的三大趨勢(shì)催生了將與傳統(tǒng)數(shù)據(jù)庫(kù)長(zhǎng)期共存的數(shù)據(jù)云，而虛擬化技術(shù)和開源軟件則將架起兩方共同和諧生存的橋梁。
在當(dāng)前大數(shù)據(jù)如火如荼的背景下，VMware和EMC雙方聯(lián)手舉辦此次論壇，共同就把握云計(jì)算與大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)，結(jié)合Hadoop等大數(shù)據(jù)技術(shù)與云計(jì)算所具有的諸多優(yōu)勢(shì)，介紹了其完整的大數(shù)據(jù)云解決方案，并分享了諸多客戶成功案例。
范承工從技術(shù)角度，分析了數(shù)據(jù)管理技術(shù)變遷的五大趨勢(shì)，數(shù)據(jù)獲取、分析方式的轉(zhuǎn)變，以及VMware在云計(jì)算與大數(shù)據(jù)方面的解決方案。本文將為您介紹這五大趨勢(shì)，以及五大趨勢(shì)可能帶來的市場(chǎng)格局變化。
三大趨勢(shì)催生數(shù)據(jù)云
數(shù)據(jù)庫(kù)是現(xiàn)在最領(lǐng)先的一個(gè)數(shù)據(jù)管理模式，它可以把數(shù)據(jù)進(jìn)行很好的歸類，關(guān)系型數(shù)據(jù)庫(kù)可以把數(shù)據(jù)組織起來，進(jìn)行很快的檢索，而且能夠進(jìn)行交易型的處理。正因?yàn)殛P(guān)系型數(shù)據(jù)庫(kù)的產(chǎn)生，使得現(xiàn)在很多的應(yīng)用都能夠非常順利的進(jìn)行開發(fā)。
而在過去10幾年里，數(shù)據(jù)倉(cāng)庫(kù)有了非常快的發(fā)展，可以以比較大的數(shù)量進(jìn)行深層次的技術(shù)發(fā)掘，在數(shù)據(jù)庫(kù)技術(shù)底下，為客戶提供更高的價(jià)值。
這些意味著，用戶很難把數(shù)據(jù)庫(kù)換掉而不換掉上面的應(yīng)用，如果把數(shù)據(jù)從一種數(shù)據(jù)庫(kù)遷移到另外一種數(shù)據(jù)庫(kù)，不是很容易的事情。
不過，范承工認(rèn)為，在過去5年里面，這種情況有一些改變。他表示，有五個(gè)比較大的趨勢(shì)，使得一家獨(dú)大的數(shù)據(jù)庫(kù)統(tǒng)一數(shù)據(jù)管理的狀況會(huì)有一個(gè)比較根本的顛覆。
第一是數(shù)據(jù)本身的改變
過去的數(shù)據(jù)大多是人為產(chǎn)生的，它的數(shù)據(jù)是一條條記錄式的，比較容易轉(zhuǎn)化成關(guān)系型數(shù)據(jù)庫(kù)形式。對(duì)它的處理往往不是實(shí)時(shí)的，可以等待數(shù)據(jù)產(chǎn)生，而要應(yīng)用它的時(shí)候，往往已經(jīng)過了一段時(shí)間。在這種情況下，關(guān)系型數(shù)據(jù)庫(kù)是一個(gè)很好的數(shù)字化。舉一個(gè)很簡(jiǎn)單的例子，我在年初去滑雪，然后去租雪橇，去了一家夫妻店，是一個(gè)很小的雪橇店，他們還沒有電腦，沒有數(shù)據(jù)庫(kù)，完全是靠紙和筆記錄每一筆交易。我看到他們有一盒子的卡片，每一筆交易就是一張卡片。還有另外一個(gè)盒子是他所有客戶的信息，中間通過客戶的信息可以查每個(gè)交易的信息。我再一看，這是用紙做的關(guān)系型的數(shù)據(jù)庫(kù)，而這個(gè)夫妻店如果生意好，規(guī)模大了，就無法用紙和筆來完成，就必須要做成電腦上的數(shù)據(jù)庫(kù)。這樣的數(shù)據(jù)庫(kù)有幾個(gè)特點(diǎn)，大家都知道CRUD，需要能夠保證有數(shù)據(jù)的產(chǎn)生，有數(shù)據(jù)的讀和寫以及更改，也要保證可以把數(shù)據(jù)刪除，這是過去所謂的記錄型的數(shù)據(jù)。而對(duì)這種數(shù)據(jù)的管理，數(shù)據(jù)庫(kù)是一個(gè)非常優(yōu)秀，非常完美的技術(shù)。而現(xiàn)在產(chǎn)生數(shù)據(jù)的源更多了，我們很多的數(shù)據(jù)不再是由人產(chǎn)生了，而是由機(jī)器產(chǎn)生的。隨著物聯(lián)網(wǎng)的發(fā)展，各種各樣的探測(cè)器，各種各樣的RFID，各種各樣移動(dòng)的手機(jī)，各種各樣的器件以及很多電腦、服務(wù)器會(huì)自動(dòng)產(chǎn)生大量的數(shù)據(jù)，而這些數(shù)據(jù)往往是以流的形式產(chǎn)生的。即使是人為的，包括我們剛才提到的社交網(wǎng)絡(luò)、微博，數(shù)據(jù)的形式和過去的形式也有些不一樣。
我們看到新型的數(shù)據(jù)往往很少改變過去已經(jīng)產(chǎn)生的東西，這些數(shù)據(jù)往往是產(chǎn)生一次，以后就再也不會(huì)更改。一個(gè)服務(wù)器的日志不會(huì)再改變昨天的日志，我昨天放上一個(gè)微博，也不會(huì)再進(jìn)行改變，往往數(shù)據(jù)產(chǎn)生一次就不會(huì)改變。而這些數(shù)據(jù)很多時(shí)候是不會(huì)被刪除，即使用戶把它刪除，在背后的基礎(chǔ)架構(gòu)里面往往也是不刪除的。新興的數(shù)據(jù)底下我們注意到是CRAP的數(shù)據(jù)模式，是產(chǎn)生、重復(fù)、復(fù)制，是可以添加的，還必須要進(jìn)行整合。是這樣一個(gè)有流模式大規(guī)模數(shù)據(jù)的產(chǎn)生，但是同時(shí)要對(duì)它進(jìn)行一個(gè)很好的歸納和整合。對(duì)于這樣的數(shù)據(jù)來說，我們大家熟悉的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不再是最優(yōu)秀的技術(shù)能夠滿足他的需要了。在處理這樣大型的 CRAP的數(shù)據(jù)，我們需要新型的數(shù)據(jù)管理技術(shù)和產(chǎn)品來幫助客戶解決這個(gè)問題。這也是現(xiàn)在為什么包括Hadoop這樣的技術(shù)這樣熱門的原因，是因?yàn)檫^去的數(shù)據(jù)已經(jīng)滿足不了新型大數(shù)據(jù)CRAP數(shù)據(jù)的需求。
第二是云所帶來的副作用
云就在于你的應(yīng)用不止是在你的防火墻之后。隨著軟件即服務(wù)的產(chǎn)生，我們會(huì)生活在一個(gè)生活云的時(shí)代。對(duì)于很多的企業(yè)來說，我們很多的應(yīng)用會(huì)是在私有云里面，是在自己的數(shù)據(jù)中心當(dāng)中。但是同時(shí)我們有越來越多的應(yīng)用會(huì)由公有云進(jìn)行提供，包括客戶管理，包括人事管理，甚至以后包括財(cái)務(wù)管理，都會(huì)通過公有云來提供這樣的應(yīng)用。而這產(chǎn)生一個(gè)副作用，就在于數(shù)據(jù)往往是跟應(yīng)用在一起的。當(dāng)你的應(yīng)用在你的防火墻之外了，它的數(shù)據(jù)也在防火墻之外。我作為一個(gè)軟件即服務(wù)的提供商，提供給你應(yīng)用，而數(shù)據(jù)都會(huì)在我這里。我作為一個(gè)企業(yè)來說，第一次面對(duì)這種情況，企業(yè)的數(shù)據(jù)已經(jīng)不完全由我來掌控，我不可能把所有的數(shù)據(jù)都放在甲骨文的數(shù)據(jù)庫(kù)當(dāng)中。即使我作為CIO有這樣的愿望，也無法達(dá)成這個(gè)現(xiàn)實(shí)。因?yàn)榈降走@個(gè)應(yīng)用采用哪個(gè)數(shù)據(jù)庫(kù)，已經(jīng)不是由我這個(gè)IT部門說了算了。
在這么一個(gè)多地點(diǎn)、多來源的數(shù)據(jù)時(shí)代，怎么樣對(duì)這些不同的數(shù)據(jù)方式、不同的數(shù)據(jù)材料進(jìn)行統(tǒng)一的分析和處理，從它上面能夠得到智能是新一代的挑戰(zhàn)。在過去要做一個(gè)新的應(yīng)用，只要連接到已有的數(shù)據(jù)庫(kù)上就行了。而現(xiàn)在必須要有一個(gè)全球的云數(shù)據(jù)統(tǒng)一系統(tǒng)，才能夠在上面開發(fā)出新的應(yīng)用程序，使它能夠提取到你私有云里面的數(shù)據(jù)，也能夠提取到公有云的數(shù)據(jù)。所以這是另外一個(gè)云帶來的趨勢(shì)，使得數(shù)據(jù)管理模式會(huì)有一個(gè)比較根本的改變。
第三是云的使用者在進(jìn)行的改變
云使用者的改變也是數(shù)據(jù)的使用者的改變，在中國(guó)很多公司里面，最富有的最有實(shí)力的500家公司里面，可能都會(huì)有比較好的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)可以對(duì)他的數(shù)據(jù)進(jìn)行分析。但是，現(xiàn)在對(duì)于數(shù)據(jù)的需求已經(jīng)不止是這500家最有實(shí)力的公司了，我覺得任何一家公司，任何一個(gè)規(guī)模的公司，或者任何公司里的任何一個(gè)部門，任何一個(gè)小組其實(shí)都有需要。為了他能夠在商業(yè)上取勝，為了他能夠更好地完成日常工作，都必須從數(shù)據(jù)當(dāng)中提取他的智能。而我們現(xiàn)在所熟悉的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，能夠?yàn)閿?shù)據(jù)提供智能的系統(tǒng)是非常昂貴的系統(tǒng)，需要幾百萬美元，幾千萬人民幣的投入，需要專業(yè)的團(tuán)隊(duì)，需要很長(zhǎng)的時(shí)間才能夠得到需要的智能，而并不是所有的公司都能夠有這么多的錢、人力和專家來達(dá)到這個(gè)結(jié)果。我們的需求就在于怎么樣能夠有一個(gè)低門檻的系統(tǒng)，使得無論是大公司還是小公司，無論是公司里面大團(tuán)隊(duì)還是小團(tuán)隊(duì)，都能很容易的從數(shù)據(jù)當(dāng)中看到你想看到的信息。我們需要使這個(gè)數(shù)據(jù)的分析系統(tǒng)低門檻，能夠?qū)崟r(shí)的產(chǎn)生這些智能，能夠更加平民化，提供更多的可視性，這也是一個(gè)非常大的趨勢(shì)。相信在將來的幾年里面，我們會(huì)發(fā)現(xiàn)更多的解決方案，而現(xiàn)在已有的解決方案并不能滿足這方面的需要。
范承工表示，這三大趨勢(shì)產(chǎn)生一個(gè)新的數(shù)據(jù)云的時(shí)代，從過去數(shù)據(jù)庫(kù)一家獨(dú)大到新的數(shù)據(jù)云，會(huì)產(chǎn)生新的需求，產(chǎn)生更大的數(shù)據(jù)，更快的數(shù)據(jù)，分布更廣，更多樣的數(shù)據(jù)，同時(shí)這些數(shù)據(jù)能夠?yàn)榍Ъ胰f戶，為所有的用戶提供服務(wù)。
虛擬化和開源讓數(shù)據(jù)庫(kù)與數(shù)據(jù)云和諧共存
盡管相信數(shù)據(jù)云時(shí)代的到來，范承工認(rèn)為，數(shù)據(jù)庫(kù)并不會(huì)消失，仍舊有它非常重要的作用。亦即在很長(zhǎng)的時(shí)間里，這兩邊的技術(shù)會(huì)是共存的。還有兩個(gè)非常重要的趨勢(shì)——虛擬化和開源軟件的趨勢(shì)，會(huì)幫助在更好的管理數(shù)據(jù)庫(kù)的同時(shí)，能夠迎接這個(gè)數(shù)據(jù)云時(shí)代的到來，而且使兩邊能夠共同和諧的生存。
第四是虛擬化的技術(shù)
虛擬化技術(shù)使得底層架構(gòu)更加的靈活，更加的業(yè)績(jī)化，使得你很容易有資源池。一方面能夠減低管理數(shù)據(jù)庫(kù)的開支，能夠使更多的資金用于數(shù)據(jù)云時(shí)代。另一方面，可以使得同樣一個(gè)基礎(chǔ)架構(gòu)，同樣一個(gè)資源池，可以既滿足數(shù)據(jù)庫(kù)的需求，也能滿足數(shù)據(jù)云的需求，來降低運(yùn)營(yíng)成本。所以產(chǎn)生虛擬化、混合云的基礎(chǔ)架構(gòu)，對(duì)于數(shù)據(jù)庫(kù)和數(shù)據(jù)云能夠并存，是一個(gè)非常關(guān)鍵的技術(shù)。
第五是更加重要和根本的，是開源軟件的趨勢(shì)
大家都知道，數(shù)據(jù)庫(kù)是一個(gè)非常好的技術(shù)，但是它同時(shí)也是一個(gè)非常成熟的技術(shù)，所以開源軟件在數(shù)據(jù)庫(kù)這邊有一個(gè)降低成本的好處，任何一個(gè)成熟的技術(shù)，它都會(huì)使得最好的解決方案以及這個(gè)開源的解決方案中間的差距會(huì)越來越少。大家在用數(shù)據(jù)庫(kù)的時(shí)候，可能一方面非常有用，另一方面會(huì)感到真貴，要維護(hù)一個(gè)大型的數(shù)據(jù)庫(kù)系統(tǒng)需要很多的人力物力，需要給這些廠家很多的錢。但是隨著開源這個(gè)軟件的出現(xiàn)，或者基于開源軟件，包括一些關(guān)系型的數(shù)據(jù)庫(kù)，他們之間的差距離市場(chǎng)領(lǐng)先數(shù)據(jù)庫(kù)的差距會(huì)越來越小，會(huì)給客戶更多的選擇來部署你的數(shù)據(jù)庫(kù)。
更重要的開源效果，范承工認(rèn)為是對(duì)于數(shù)據(jù)云時(shí)代的幫助，數(shù)據(jù)管理云系統(tǒng)，現(xiàn)在走過一個(gè)分久必合到合久必分這么一個(gè)轉(zhuǎn)型的時(shí)代。
顛覆“老皇帝”?
分久必合到合久必分。在過去的30年的數(shù)據(jù)庫(kù)時(shí)代里，從最初的群雄爭(zhēng)霸，有很多種不同的關(guān)系型數(shù)據(jù)庫(kù)以及其他的數(shù)據(jù)管理模式，到現(xiàn)在已經(jīng)是一個(gè)非常穩(wěn)定的市場(chǎng)。在這個(gè)市場(chǎng)里面，有一些市場(chǎng)的領(lǐng)先者，包括我們大家熟悉的甲骨文公司，包括IBM公司，包括微軟公司，他們都有很好的數(shù)據(jù)庫(kù)技術(shù)滿足客戶的需要。
前面也說到，數(shù)據(jù)庫(kù)的更換是困難的事情。不過，范承工認(rèn)為，這五大趨勢(shì)的出現(xiàn)，使得一家獨(dú)大的數(shù)據(jù)庫(kù)統(tǒng)一數(shù)據(jù)管理的狀況會(huì)有一個(gè)比較根本的顛覆。
范承工表示，在30年前可能是群雄混戰(zhàn)，有很多的數(shù)據(jù)庫(kù)產(chǎn)生，而在過去的20年、15年逐漸的甲骨文一家做大，成為業(yè)界的領(lǐng)袖。但是現(xiàn)在這個(gè)時(shí)代，我們的皇帝也老了，新一代的技術(shù)產(chǎn)生，我們又進(jìn)入一個(gè)群雄混戰(zhàn)的時(shí)代。
范承工說，現(xiàn)在大家熟悉的大數(shù)據(jù)技術(shù)，包括Hadoop，包括新的為開發(fā)者所歡迎的技術(shù)已經(jīng)產(chǎn)生，而這樣的技術(shù)大多數(shù)是以開源技術(shù)的形式出現(xiàn)的。以開源技術(shù)的形式，就使得作為客戶可以非常低門檻的能夠應(yīng)用到這個(gè)技術(shù)，不需要很多的初始投資，可以嘗試這個(gè)新的技術(shù)到底是否滿足自己的需求，鼓勵(lì)這么一種百花齊放的形式，開源就給這個(gè)百花齊放提供了一片土壤，看最后到底哪一朵花最投其所好。
京公網(wǎng)安備 11010502049343號(hào)