根據IDC的預測顯示，在2006年全世界的數據存儲量是18萬PB，而如今這個數字已經達到了180萬PB，而到了2015年會達到800萬PB。同時相關分析公司的數據顯示，到2015年大數據的產值將達到169億美元。
我們看到大數據的大時代正在悄然到來。雖然數據分析一直以來都是IT產業的一部分，而且數據倉庫、數據挖掘、商業智能等一直在不停的為企業的發展和創新提供價值，但隨著數據的規模的指數級增長，以及數據生態系統各個環節技術模式、標準的變化，以大數據(big data)發展做為商業機會和廣闊前景正在催生更大的市場和利潤空間。
現在我們可以把它稱為大數據，但從企業對數據利用的角度，你可以把它稱為數據分析，亦或商業分析，數據挖掘。隨你現在或未來怎么稱呼。我們確實需要清楚一個以數據為生命周期的生態系統是怎樣的。在IBM架構師Stephen Watt的《Deriving new business insights with Big Data》中介紹了數據產生、處理、價值體現的整個過程。這個生命周期過程由多個環節組成，數據的生成、數據的存儲、數據的處理、分享、檢索、分析和可視化等等。針對這些不同環節的商業需求正在催生新的技術模式和方法以實現新的商業模式。
數據存儲方面，Amazon是先行者，它的S3云服務已經成為了云存儲的業界標準。無論在用戶使用、商業模式、所提供服務的便捷性和規模增長，Amazon都是這個領域的經典范例;還有圍繞NoSQL的新技術和模式，10gen的MongoDB，DataStax的Hadoop構建方案Cassandra，NoSQL數據庫技術提供商Couchbase等等。
數據處理方面，Hadoop無疑是首選。這一脫胎于GoogleMapReduce的大數據分布式處理架構是大數據生態系統的主角。而且許多的商業和產品的創新也圍繞這個架構產生。如由雅虎分拆的HortonWorks，有Hadoop創始人Doug Cutting坐鎮的Cloudera，提升Hadoop速度的MapR等。
同時針對數據分享、檢索、分析和可視化等方面創新公司也有很多。我們看到圍繞大數據生態系統的商業模式正在形成。同時這個生態系統在安全領域也引發了廣泛的討論，在安全領域的踐行者們開始思考，企業將自身與安全相關的數據與企業的信息數據倉庫結合能摩擦出怎樣的火花？
于是在2012年的RSA大會上引爆了大數據分析是否能給安全帶來突破的激烈討論。有的分析機構和分析師認為大數據將催生新的安全算法市場，為安全分析提供新的可能性，而且SIEM安全工具必須要跟上這樣的趨勢;而有的則保持謹慎的態度，比如數據的統計分析根本不理解安全，這樣的討論才剛剛開始，面臨的問題和障礙還有很多，這不過是一個營銷的噱頭。
這樣的討論是有價值的。是“臨淵羨魚，還是退而結網？”安全產業的答案是后者。這樣的趨勢吸引了眾多的創新性安全公司趨之若鶩，同時也牽動著老牌安全廠商的神經。
在RSA 2012大會上，RSA總裁TomHeiser告訴ZDNet，“企業面對高持續性安全威脅的情況下，安全投入會持續增加。同時安全技術市場也將發生變化，就是基于傳統安全的防病毒、防火墻和IPS的技術和解決方案會向以大數據分析監控的技術方向轉化。”正如上面討論的觀點之一，大數據正在為安全分析提供新的可能性，而且意味著安全信息與事件管理(SIEM)的工具必須要發生變化。
而且這樣的變化已經開始了，比如RSA的威脅檢測產品NetWitness和惠普的ArcSightSIM。當然也有很多的創新型安全公司正在通過新的安全方式找到安全與大數據分析(BDA)的平衡點，他們對大數據分析與安全結合呈樂觀的態度，并且已經先行一步。
接下來就讓我們看看圍繞大數據生態系統的各個環節，安全領域有哪些創新者正在于大數據并行。在RSA 2012大會上看到了許多以大數據分析為驅動的安全公司，他們有的基于大數據分析的技術層面進行改變，有的基于大數據分析的應用層面，比如SIEM、APT檢測、0day漏洞/惡意代碼分析、網絡異常流量檢測、用戶行為分析、網絡取證分析和安全情報分析等應用方向。
NitroSecurity的架構結合NoSQL，推出集成了RMDB和NoSQL DB的混合型存儲架構NitroEDB。NitroSecurity于2011年10月被邁克菲收入麾下。它的NitroView SIEM已經與邁克菲的ePO整合，以提升對風險和威脅進行評估的速度。
ZettaSet的核心是Hadoop，提出了Security DW(SDW數據倉庫)。從網絡防火墻、安全設備、網站流量、業務流程以及其他事務中挖掘安全信息，確定并阻止安全性威脅，為SIEM提供的安全實踐服務。Zettaset的SDW產品于2011年黑帽大會上面世，目前免費。
還有很多基于Hadoop和NoSQL架構做SIEM的安全公司，這里不一一列舉。接下來看看從應用層面的，上面提到的NetWitness就是一個，RSA在RSA 2012大會當天推出了NetWitness Live平臺以擴大企業對抗APT威脅的可執行情報的優勢，NetWitness于2011年4月被EMC收購，并與RSA的enVision管理平臺整合。
Narus是提供實時動態網絡分析產品的公司，于2011年12月被波音公司收購，NarusInsight可提升網管對網絡中傳輸數據的洞察力，監測可疑網絡惡意代碼和操作，并發出警告。與Narus不同，Solera Network是一家提供硬件網絡流量檢測設備的公司，而且剛剛在年初獲得了由英特爾主導的2000萬美元融資，產品基于DeepSee平臺對所有的網絡流量進行索引及分類，為企業提供實時的網絡安全監控。
用戶行為分析方面，Silver Tail systems是一家主要從事WEB欺詐檢測與防范系統開發的公司，創始人來自Paypal和eBay。
Palantir是一家網絡取證分析的公司，目前該公司的融資已接近2億美元，市值達到25億美元。主要為政府和金融機構提供數據分析平臺，該產品源自PayPal的反欺詐措施，該公司已經有8年的發展歷程。
安全一直在尋找與最前沿技術趨勢的契合點，不論是云計算還是大數據，安全也一直扮演著讓技術趨勢擺脫羈絆的救世主角色。當安全遇上大數據，一個全新的安全生態系統也似乎伴隨著大數據生態系統的成熟逐漸在我們眼前清晰的展開，資本運作和創新的動力不斷的驅動著安全向前邁進。
京公網安備 11010502049343號