本文作者 Timothy Howes 是 ClearStory Data 首席科技官，引領(lǐng) ClearStory 公司基于 Spark 的數(shù)據(jù)分析平臺創(chuàng)新工作。

Apache Spark 在數(shù)據(jù)方面的貢獻(xiàn)，是類似從撥號互聯(lián)網(wǎng)到寬帶之間的偉大跨越。

這種革命并不僅僅是關(guān)于應(yīng)用啟動速度加快，而更是消費者可能之前從來沒有想象到的新型的應(yīng)用程序，過去的管道太窄了，而且速率太慢，不足以支撐這些應(yīng)用。

試著想一想實時的通訊，流式的媒體音樂或視頻，多人游戲，以及其他要大量消耗帶寬的應(yīng)用。當(dāng)問題變成將數(shù)據(jù)運送到需要的商人手里的時候，Spark 為我們帶來了信息流通領(lǐng)域量子式的飛躍。

這個世界上有 90%的數(shù)據(jù)，都是在最近幾年才創(chuàng)造出來的，所以數(shù)據(jù)創(chuàng)造方面的步伐只會加快而從不會減慢。毫無疑問，在數(shù)據(jù)歷史上，經(jīng)銷商和顧客們都到達(dá)了一個關(guān)鍵時刻。

隨著企業(yè)將他們的應(yīng)用，以及其中附帶的數(shù)據(jù)轉(zhuǎn)移到云端，傳統(tǒng)的企業(yè)數(shù)據(jù)分銷商正面臨著消失在塵埃當(dāng)中的危險。就算他們不會徹底消亡，也只能變得茍延殘喘。但是如果恐龍的興衰教會了我們?nèi)魏问虑榈脑挘蔷褪牵阂环N物種的滅絕就是另外一種物種的發(fā)展時機(jī)。因此，請迎接云計算巨人的到來。

像是亞馬遜，谷歌，微軟和 IBM 這樣的巨人，都渴望擁有云計算環(huán)境。企業(yè)可以在這個環(huán)境當(dāng)中運營他們自己的應(yīng)用，更重要的是，消費者們也會把數(shù)據(jù)存儲在這里。這個鏈接就是關(guān)鍵，數(shù)據(jù)提供一種粘性，但是它跟隨的是應(yīng)用。接著，誰擁有云，誰就終將擁有消費者和他們的數(shù)據(jù)。

那么，Apache Spark ——這個由 IBM 這些公司大量應(yīng)用，有可能會是接下來 10 年當(dāng)中最重要的開源項目，將會為此有什么貢獻(xiàn)呢?

就像在互聯(lián)網(wǎng)帶寬方面的量子式飛躍一樣，有很多人認(rèn)為 Spark 的實時處理性能，將會引燃與數(shù)據(jù)工作的新方式，提供持續(xù)刷新的數(shù)據(jù)，允許員工，合作伙伴和消費者參與其中。這更像是消費者們轉(zhuǎn)向他們的電視或者其他媒體。

今天的移動設(shè)備是易于使用的，而且足夠快，以至于可以交互進(jìn)行工作。商業(yè)用戶可以自行駕馭數(shù)據(jù)分析系統(tǒng)，尋求在他們的經(jīng)營過程當(dāng)中到底發(fā)生了什么的答案。端對端的數(shù)據(jù)流可以搬運數(shù)據(jù)，通過標(biāo)準(zhǔn)化規(guī)定數(shù)據(jù)的質(zhì)量，以及通過觀察生產(chǎn)全過程，讓人們做出由數(shù)據(jù)驅(qū)動的更有自信的決策。

有一些云計算巨頭將這種 Spark 相關(guān)的加速服務(wù)和一些公司的大量數(shù)據(jù)存儲緊密聯(lián)系，并且托管一些新的數(shù)據(jù)頻道——他們將此看作保證客戶品牌忠誠度的一種好方法，也定義了我們未來的工作手段。新的通過數(shù)據(jù)流來進(jìn)行分享與合作的方式，將會是新企業(yè)的支柱。每一天，商業(yè)用戶都可以處于信息的接收端，快速和輕松的進(jìn)行意見整合，就像他們現(xiàn)在在寬帶網(wǎng)絡(luò)應(yīng)用當(dāng)中所做的那樣。

就像有線電視和之前的那些工具一樣，數(shù)據(jù)的質(zhì)量——從數(shù)據(jù)制造系統(tǒng)到數(shù)據(jù)分發(fā)應(yīng)用——會幫助我們將工作地點差異化。本質(zhì)上說，高保真的數(shù)據(jù)將會區(qū)分服務(wù)之間的優(yōu)劣：各種服務(wù)的加載速度，帶給用戶的商業(yè)利益，以及數(shù)據(jù)的可信度都會有區(qū)別。根據(jù)這些區(qū)別，商業(yè)用戶們可以有更多自信采取行動。

為了創(chuàng)造企業(yè)對優(yōu)質(zhì)數(shù)據(jù)服務(wù)的依賴性，數(shù)據(jù)相關(guān)服務(wù)需要快速啟動，其信息需要對每個人而言都方便獲取。我們需要進(jìn)一步解釋 IBM“全面投入 Apache Spark”的承諾，而且需要弄明白為什么亞馬遜、谷歌和微軟這樣的大品牌都在做同樣的事情。他們讓我們看到數(shù)據(jù)應(yīng)用歷史上的一個關(guān)鍵時刻，這將改變行業(yè)游戲規(guī)則，影響人們和數(shù)據(jù)共存的生活方式。