早在一年前,美國國防部先進研究項目局(DARPA)曾透漏過一個秘密項目——一款新型搜索引擎,通過深度挖掘暗網(Dark Web),獲取Google搜索和其他商業搜索引擎未能涉及到的所有隱秘信息。現在,它已經悄然問世。
科普:什么是暗網
暗網并非十分龐大,甚至沒有想象中那樣特別的神秘。事實上,所謂“暗網”都是公共可見的網站,但卻將真實的服務器IP隱藏了而已。這意為著,任何人都可以訪問暗網,但“暗”就暗在這些網站隱藏極深,難以調查的幕后。
神秘的“暗網搜索引擎”
暗網搜索引擎項目被命名為“Memex”,測試顯示項目運營效果良好。
上周日晚,Memex首度亮相于公眾,我們有幸搶先一睹這款特別的搜索引擎的風采——這是一款以打擊犯罪為目的搜索引擎,美國國防部五角大樓的研究機構批準Scientific American新聞網預睹其真容,然后讓60分鐘節目組獨家對這款新技術的結晶進行了視頻報道。
Memex這個單詞來自于記憶(memory)與索引(index)的組合,它基于開源的數字可視化搜索分析程序,通過與后端服務器軟件交互,完成復雜的計算和數據分析。
通過用戶搜索的信息,Memex搜索引擎會對相關內容進行抓取。經過爬蟲對頁面內容的遞歸獲取,有效地識別不同數據塊之間的關系。研究人員能夠利用搜索到的空間和時間的數據構建數據圖,進行可視化分析。
視頻介紹
下面附上的視頻能給各位FreeBuf讀者更直觀的感受和理解。
暗網是一個遍布婦女兒童綁架、色情信息、毒品交易、網絡犯罪和人口販賣的邪惡聚集地,但是由于暗網的隱秘性極高,所以它能輕易躲避主流引擎的搜索。
當然,隨著暗網搜索引擎的誕生,相信它們的好運也就到此為止了。
設計理念
暗網搜索引擎Memex用于保護網絡免受黑客、人販子或者其他類型罪犯的的侵害。它的設計理念即:擴展搜索引擎的能力,根據特定人物的興趣迅速進行信息的全面整合。
Memex搜索引擎的研究發起者Chris White等人詳談了整個暗網搜索引擎的工作原理,以及它是如何幫助執法機構進行調查的。
White表示:“互聯網比人們想得要復雜得多。據統計分析,Google、微軟bing以及雅虎搜索,只收錄了網絡上大約5%的web內容。”很明顯,這給網絡犯罪留下了很大的潛在發展空間。
在上述有關Memex搜索引擎的視頻片段里,大家還能看到美國國防部先進研究項目局的Dan Kaufman。這位主管在視頻里表示:“Memex的理念簡化來說就是——如何挖掘不易被發現的東西。”
White嚴肅地說:“大多數網民都是守法公民,但是也肯定會存在一些網絡寄生蟲。我們會剝奪其利用網絡侵害我們的能力,創造一個更加美好的網絡環境。”
項目進度
Memex如今還處于beta階段,現有一個政府機構和一個非政府組織負責測試。當然,在幾周后的下一測試階段,Memex還會擴大內測范圍。
“這一輪的測試,其中一個主要目標就是分析照片。比如對于毒販面部的匹配,或者是根據圖片背景中電視屏幕映出圖像,進行模糊搜索匹配。另一個目標,則是嘗試用不同用戶界面,嘗試使用流媒體結構來評估時間敏感的數據。”
這意味著在暗網搜索引擎Memex的幫助下,美國國防部先進研究項目局(DARPA)有可能會根據圖片中電視屏幕的上的倒影圖像,通過圖像模糊匹配技術進行分析定位,在使用一定手段確認后對罪犯實施抓捕。
這聽起來似乎如好萊塢電影一般富有奇幻色彩,不過Memex團隊強調,這一切“黑科技”本意只是降低犯罪率,而不是侵犯大多數人的隱私。