北京12月17日電防務承包商前雇員愛德華·斯諾登的爆料,讓美國國家安全局的“棱鏡”監視項目為大眾窺知。如果單從技術角度看,“棱鏡”可能是迄今最成功的大數據應用項目之一。
“棱鏡”最大特點在于利用美國的全球通信中樞地位截取數據。斯諾登提供的一張幻燈片顯示,北美與歐洲、亞太、拉美之間的帶寬,是其他洲際帶寬的兩倍甚至以上,如果從巴基斯坦發一封電子郵件到英國,從美國“繞道”更快捷經濟。而當全球海量數據都如此“繞道”,美國情報機構只要在電信運營商的主干光纖上做手腳,就可以截取。
早在2006年,美國電話電報公司一名員工就披露了該公司在舊金山的“641A”密室。媒體曝光的法庭資料顯示,這個沒有窗戶的黃色房間里裝著國家安全局的“情報流量分析儀”,可以監控接收80%經由運營商光纖的數據,而類似的密室在美國有20個。
有趣的是,生產“情報流量分析儀”的Narus公司就把自己的產品比作“棱鏡”。網絡數據通過這種儀器就像光線穿過棱鏡,會被分解出“光譜”:包含IP地址和設備等的網絡層、包含內容主題和位置的語義層,以及用戶資料身份和關系的用戶層。
除了對互聯網數據通路的操控,國家安全局在“9·11”之后還開始收集通話元數據,即不包含通話內容的美國境內及國際通話的雙方電話號碼、通話時長、電話的位置信息等。另據媒體披露,對于電子郵件、社交網絡等加密內容,在一些互聯網公司的合作下,國家安全局可以從這些公司的服務器將數據直接同步到自己的服務器上,運作過程同云端硬盤備份類似。
從國家安全局在美國猶他州剛建成的數據中心也可以看出其收集數據之“大”。這座數據中心的處理能力將以澤字節計,1澤字節信息相當于2500億張DVD。
為了處理這些數據,國家安全局專門開發了一個數據庫,可以儲存處理多格式數據,在發現數據的規律模式后實時報告,并能將姓名、電話號碼等元數據作為節點,把相關的姓名、號碼、搜索詞等聯系起來,自動生成關聯圖。
“棱鏡”還有一套名為“無限線人”的大數據分析工具,按國家和具體項目進行監視。使用者可以選擇一個國家向系統提問“我們對X國掌握的最新數據是什么”,系統會顯示掌握的元數據量,再根據具體項目顯示細節數據。
資料顯示,2013年3月,“無限線人”在全球計算機網絡收集信息基礎上產生的報告達970億條。