今天關鍵分析進展的核心是大數據，它被視為是大量的結構化和非結構化數據的集合，大部分是來自于Web應用程序、服務器日志和社交媒體網站。雖然大數據應用程序常常是與快速發展的組織有關，這些組織可以快速地對實時數據反饋，但大數據和實時不一定是同義的。

行業專家指出大數據在休息時與大數據在運動時確實存在不同。為了促使它向前發展，外部的幫助是必要的。

雖然MapReduce和Hadoop是現代化的、分布式的和并行的，但他們這兩個開源技術都與大數據密切相連，都是面向批處理的。這可以會使一些人感到吃驚，但它們經常在當大數據休息之時，也就是說，除非他們是伴隨著相當先進的中間件。內在數據網格或數據庫、復雜事件處理（CEP）引擎和低延遲消息傳遞中間件是應用基礎設施軟件的幾種類型，這種軟件要像架構師一樣承擔起推動大數據運動的挑戰。

“快速數據（fast data）”不僅只是一項技術，也是一系列的方法，據英國Ovum 研究集團分析師Tony Baer說?？焖贁祿咝阅埽脱舆tCEP應用，數據流在內存中進行處理，從而檢測模糊復雜的模式，Baer今年早些時候在一篇博文中寫到。

隨著用戶對大數據越來越熟悉，對于伴隨著這種大規模信息池的更加高級的消息中間件類型的需求將會增長，根據Roy Schulte所說，Gartner的分析師。Gartner認為CEP對大數據很重要，因為它可以快速處理即將出現的數據，通過暫時把信息存儲在電腦的主要內存中。

衡量系統的擴展性

大數據代表著典型的計算機I/O問題，這些問題中大量的“輸入”和“輸出”問題是性能的關鍵瓶頸。通常情況下，在這種問題的處理上有一個趨勢就是拋棄硬件，不一定要好的效果。Hadoop框架就是一個例子。

“人們討論擴展性，但就不討論關于Hadoop性能方面的事，”Michael Kopp說，他是底特律Compuware公司性能管理團隊的技術策略師。“另我印象最深的一方面是人們的假設，因為它是大數據，所以它是快速的大數據。如果你看向Hadoop，你把它看作是面向批處理的。它是快速的，但它永遠不是實時的。”就因為它是開源，并不意味它就為公司省錢。

“人們很糾結。Hadoop確實不便宜，而且很難管理，許多工作的運行速率又不同。拋棄越多的硬件，就會使得管理更難，”他說，還暗示說一些在大數據市場上的NoSQL和其它系統可能會看起來像CEP系統——它們重在速度。

“CEP系統在整個討論中會占有重要的地位，”他說。雖然他看到了Hadoop和NoSQL開發團隊正在努力提高查詢的性能和優化數據庫，但他認為他們很少優化以高效到適應應用程序實際使用數據的方式。

進入高性能消息傳遞

低延遲消息傳遞正在興起，成為另一個使大數據提速的中間件方法。盡管華爾街金融應用程序仍然是主要用例，但高性能消息傳遞定位于更廣泛的使用。廠商提供這樣的工作包括IBM，Informatica，PrismTech，RTI，Red Hat，Software AG，Solace Systems，Tervela，Tibco和其它的一些。

利用傳感器或所謂的物聯網的大數據應用程序代表用例，這些用例需要華爾街應用程序以外的低延遲中間件。這樣的軟件已經用于分析應用程序涵蓋航空、國防、電力公司、甚至停車系統，根據Angelo Corsaro說，PrismTech公司的首席技術官。Corsaro監控著OpenSplice DDS的工作，OpenSplice DDS支持對象管理集團（Object Management Group）的數據分布服務（DDS）實時系統。

“應用程序使用OpenSplice來分布和緩存高容量的快速變化的數據，”他在電子郵件中告訴SearchSOA.com。“一些技術之間的界線正變得模糊起來。”

“在某種意義上，OpenSplice提供了一些CEP的功能，”他說，并指出其基于內容的訂閱，可以像在CEP領域一樣連續查詢。

“不管外圍重疊，技術將繼續專業化和集成，”他補充說。

當然有CEP的元素可以區分大數據及其使用。CEP傾向于與小的數據集合工作，Merv Adrian說，Gartner的一位分析師。盡管如此，他看了各種技術在以他們的方式，將加快大數據，就如我們現在知道它一樣。

“至今，大數據還未已成為實時的商場。新的方法出現了，但正如他們所說，需要一些組合，” Adrian說。“盡管有點事后諸葛，Hadoop現在是一個工具集?；仡^看，它你是商業智能。”

實時能力是人們期望從大數據中得到的，Adrian說。“這不久就會實現。但有一些壓力，”他說。

大數據工作已經代表了全新的架構，如果與現在現有的方案相比的話，所以很大程度上取決于項目的結果。人們不會自找麻煩，添加新架構來看看過去一年他們都做了什么，Adrian說。