根據John Matherly的說法,不適當地配置HDFS服務器——主要是Hadoop安裝——將會泄露超過5PB的信息。John Matherly是用于發現互聯網設備的搜索引擎Shodan的創始人。
這位專家說,他發現了4487個HDFS服務器實例,這些服務器可通過公共IP地址獲得,而且不需要身份驗證。這些服務器總共泄露了超過5120TB的數據。
▲HDFS系統泄露地圖
據Matherly說,47820個MongoDB服務器只泄露了25 TB的數據。從這個角度來看,與MongoDB服務器相比,HDFS服務器泄露的數據要多200倍,而與此同時,MongoDB服務器的數量是后者的10倍。Binary Edge于2015年公布的一份報告顯示,在當時,Redis、MongoDB、Memcached和ElasticSearch服務器的數據只泄露了1.1 PB的數據。
大多數HDFS系統位于美國和中國
泄露最多HDFS實例的國家是美國和中國,但這并不奇怪,因為這兩個國家擁有世界上超過50%的數據中心。
今年早些時候,攻擊者意識到他們可以接管為受保護的服務器,在網絡上泄露、竊取他們的內容,請要求贖金。黑客攻擊首先針對的是MongoDB,但很快就轉移到了CouchDB和Hadoop。
最初的時候,有124個服務器遭受勒索,這個數字最近增長到了500個。根據Matherly的說法,仍然有207個基于hdfs的集群有贖金要求,不過我們不清楚這些是不是今年1月襲擊的遺留問題,還是現下仍然有服務器正被劫持。
HDFS支持Hadoop分布式文件系統,這是一個可以在基于云的服務器上運行的分布式文件系統。它是Apache Hadoop的核心技術,但它也部署了自定義解決方案。HDFS系統通常位于云托管環境中,用于存儲和處理大量的用戶數據。
Matherly已經公布了他的研究的必要步驟。關于如何配置Hadoop服務器以在安全模式運行的說明,可以訪問此鏈接:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SecureMode.html