與IT相似，情報機關也在努力通過創新獲得快速分析大量來自不同源頭的數據能力。
雖然最近一段時間以來，美國國家安全局及其它情報機關大規模收集個人數據的做法引發了廣泛爭議；但從技術角度來看，通過分析將數據轉化為可操作信息仍然是一項巨大挑戰，即使是最具權勢的機構在面對此類難題時也感到有些無可奈何。
在剛剛于紐約召開的安全創新網絡峰會上，中央情報局科學與技術部門副主任Dawn Meyerriecks致辭稱，處理所有業務相關數據對于任何機構而言都仍是一項重大挑戰。甚至在成功收集之后，機構成員以實時形式對數據進行分析都無法做到。
“要查看一遍下一分鐘在互聯網上傳輸的所有視頻，我們要花上整整五年時間，”Meyerriecks解釋道。“因此我們根本不具備處理全部現有數據的能力。”
因此，美國中央情報局正在集中資金投向分析應用程序及系統的研發領域，旨在幫助自身更便捷地對來自不同來源的數據加以分析——這是為了避免將浩如煙海的數據保存在有限的內部存儲體系當中，Meyerriecks告訴我們。
大多數研究與開發活動都通過in-Q-tel（一家由中央情報局創立的風險投資公司）以及情報高級研究項目活動機構（簡稱IARPA，由高級研究項目署建立）共同負責管理。
根據Meyerriecks的說明，以IARPA的“集團性偶然事件評估（簡稱ACE）”為例，該項目希望通過對先進分析技術的研究簡化數據分析流程。而IARPA的“知識發現與傳播”計劃則意在從適配器及語義技術角度出發讓數據發現及實施變得更加簡單，最終從中獲取更具價值的背景信息。
雖然中情局的運營規模明顯超過一般性企業，但德雷斯納咨詢服務公司首席研究官Howard Dresner表示自身所在機構的IT部門在深入探索大數據的過程中，同樣面臨諸多來自高級分析技術的挑戰。即使是將Hadoop作為數據存儲框架，來自數據收集與大規模數據關聯的成本仍然相當昂貴。
為了降低這部分成本，技術人員想出了各種辦法。如果分析能夠針對來自多種來源的大量數據，那么處理費用將大大減少。“沒人能有短期之內從根本上解決成本問題，”Dresner指出。“我們能做的只是首先通過標準化方式對數據進行索引。”
當然，系統集成商普遍將大數據看作一次重大的發展機遇。舉例來說，CSCS剛剛收購了數據分析即服務廠商Infochimps公司，從而通過Hadoop與NoSQL數據庫的結合實現數據整理。
根據CSC公司數據服務主管Travis Koberg的說法，系統集成商希望大數據分析領域能夠實現跨應用程序起效并進一步作用于內部及云計算平臺。“我們正努力為大數據打造一套工業強度級別的平臺，”Koberg指出。“但我們仍然堅信大部分應用程序都能成功實現聯合。”
最終形勢將發展到何種程度目前還不清楚。就現在來看，命運的指針正朝著云聚集數據緩緩移動。然而將全部數據加以聚合的成本將繼續增加，IT行業與情報機構已經清醒地意識到，只有技術突破才能幫助自己在無關數據保存位置的前提下實現大數據分析目標。
京公網安備 11010502049343號