在年初于紐約舉行的Spark Summit East大會上，Databrick成為了焦點所在，通過新發布的數據處理云服務，該公司力圖將Spark與MapReduce及Hadoop系統劃清界限。
經過本次大會，Spark在業界的逐漸普及已是不爭的事實。Apache Spark是一個開源的大數據處理引擎，能夠被用于解決各界面臨的高難度問題：如何快速識別針對比特幣網絡的拒絕服務攻擊?如何將車輛與物聯網或互聯網相連接?如何識別出那些極為隱秘的洗錢行為?
對于Spark的興趣不僅僅局限于具有純天然數字化基因的企業，或者提供Spark相關技術的廠商。諾華制藥(Novartis)、有線電視網Comcast和高盛等公司也在會上為Spark唱起了贊歌。但是，本次Spark Summit與其說是一次會議，不如說是一次Databrick的專場演出。Databrick發布了商業版的Spark系統，并且撇清與Hadoop生態的任何關系 -- 既非敵人也不是朋友。Databrick這次發布的是基于云的Spark服務。
順勢而生
Databrick由加州伯克利大學AMP實驗室團隊所創建，即Apache Spark的開發者。自從誕生伊始，Spark就被拿來與MapReduce進行比較，MapReduce是Hadoop最初的數據處理引擎。MapReduce因其對大數據集的分布式處理能力而廣受關注，但是也一直在效率方面飽受責難。MapReduce以批處理方式進行計算，無法很好地應對流處理模式(比如物聯網項目)。而且，MapReduce沒有內存計算的選項，每次計算后都要將結果寫入外部存儲，這使得迭代式的任務相當耗時。
MapReduce的種種缺陷，使得諸如Spark之類的新一代處理引擎應運而生。“MapReduce的設計始于15年以前，”Databrick的聯合創始人Patrick Wendell表示：“而Spark則是基于當代最新的硬件，完全重新設計而成的。”
同時，Databrick實現了Spark與Hadoop環境的兼容，并堅信Spark將在大數據生態中扮演更重要的角色。“我認為Spark將凌駕于Hadoop之上，在更多的場景中發揮作用。目前，在很大程度上這一點已經成為現實。”Wendell說。
去年春季，Databrick與DataStax建立了合作伙伴關系，后者專注于提供NoSQL數據庫Cassandra的商業版。去年秋天，Databrick發布了Databrick云，基于Amazon S3存儲提供Spark環境，實現所謂的大數據即服務。由于在可用性方面受限，有傳聞Databrick云最終將駐留在Google Compute Engine和微軟Azure云上。與MapReduce不同，Databrick盡量讓使用Spark的技術門檻降低，能夠面向更為廣泛的受眾。比如，Databrick為用戶提供了各種高級和低級的API接口 – 所謂高級接口，主要針對那些對數據科學或分布式系統不熟悉的用戶，使之同樣能從復雜的機器學習算法中受益。
應者云集
如果說本次Spark Summit East大會帶來的影響，應該就是CIO們，或者更確切地說是那些一直追蹤大數據技術發展的數據分析師們會認為Spark將是繼Hadoop之后的新里程碑。Databrick宣稱Spark大數據處理引擎將改變企業分析的形態(過去的情況是，諸如Cloudera一類的Hadoop提供商一直扮演著支撐的角色)。Databrick同樣讓與會者相信，即使那些“普通”(normal，先前舉行的Hadoop World大會上，Cloudera使用了這個詞)的公司，也能夠從Spark中受益，比如諾華制藥和Comcast，以及不那么有名的Automatic和Shopify公司。
對于Spark的贊美同樣來自于其他與會者。Tresata的創始人和首席執行官Abhishek Mehta表示：“我認為Spark應對了當前大數據研究中的所有熱點問題。”高盛的Matt Glickman表示，Spark代表了未來發展的方向，將成為大數據分析的通用工具。Alteryx(致力于為普通用戶提供分析語言R和大數據分析能力)的首席運營官George Mattew則描述了在集成R和MapReduce時的遭遇。
“有人說，舊約中并沒有對地獄的具體描述。”Mathew回憶到：“但是，當我們試圖將R和MapReduce集成時，卻有了切身體會。在引入其他通用的計算能力時，MapReduce的步伐是如此艱難。”
這聽起來非常刺耳，曾經的大數據明星，如今被Spark的光芒所掩蓋 – 至少在某些大數據信徒看來，事實就是如此。
京公網安備 11010502049343號