馬來西亞航空公司的MH370航班突然神秘消失在東南亞某地之后,隨著時(shí)間的流逝,有越來越多的個(gè)人和組織加入了搜尋隊(duì)伍。他們利用了一切可得的工具努力定位這架搭載著239名乘客、讓成千上萬個(gè)家庭成員和朋友心碎的波音777,大數(shù)據(jù)分析在其中也發(fā)揮了作用。
位于美國猶他州普羅沃的Adaptive Computing公司的首席架構(gòu)師Daniel Hardman是這次大數(shù)據(jù)搜救行動(dòng)的主管。Adaptive公司以Moab數(shù)據(jù)中心平臺(tái)而聞名,全球有許多不同類型的企業(yè)都在使用這一平臺(tái),包括橡樹嶺國家實(shí)驗(yàn)室、劍橋大學(xué)和The Weather Channel天氣手機(jī)應(yīng)用。
Adaptive Computing公司的Moab高性能計(jì)算解決方案和云方案是該公司Big Workflow數(shù)據(jù)中心軟件包的組成部分,它聲稱能夠統(tǒng)合所有數(shù)據(jù)中心資源、優(yōu)化分析過程并且保證服務(wù)質(zhì)量。Big Workflow的名字源于它通過簡化工作流程解決大數(shù)據(jù)問題的能力,還可以將對大量數(shù)據(jù)的分析傳遞到多個(gè)平臺(tái)、環(huán)境和位置中去。
利用大數(shù)據(jù)展開聯(lián)合搜索
DigitalGlobe公司是Adaptive Computing公司的客戶,也深入?yún)⑴c到此次搜索行動(dòng)中。位于科羅拉多州朗蒙特的DigitalGlobe公司是一家提供宇宙圖像接收和地理空間內(nèi)容的供應(yīng)商,也提供操作民用遙感衛(wèi)星的服務(wù)。
它還有一個(gè)眾包(Crowdsourcing)網(wǎng)站Tomnod,使得大眾能夠參與到飛機(jī)搜尋行動(dòng)中去。
DigitalGlobe公司和Adaptive公司目前正在對370航班實(shí)行一次眾包式搜索,這一航班自3月9日從世界雷達(dá)屏幕上消失后,到3月16日為止仍然下落不明。
“當(dāng)DigitalGlobe公司接到需求時(shí),常常承受著巨大的時(shí)間壓力,”Hardman 表示,“命令通常是這樣的‘我們亟需搜索一塊區(qū)域,我們正在尋找X事物。’為此,他們必須先將自己的衛(wèi)星瞄準(zhǔn)在那一塊區(qū)域,然后才能采集最新圖像,之后通過一系列的計(jì)算步驟運(yùn)行。這些步驟包括取出覆蓋的組圖,調(diào)和照片像素讓他們不會(huì)重疊,然后創(chuàng)建一個(gè)由眾多小圖組成的巨幅馬賽克。”
空中搜索海面
DigitalGlobe公司的搜索集中在馬來西亞周邊海域,并不是在陸地。衛(wèi)星拍攝的大量照片都被傳送到大數(shù)據(jù)存儲(chǔ)庫。根據(jù)需要會(huì)對照片做出修改,例如使顏色一致、對比度均勻,調(diào)整不同的拍攝角度(因?yàn)樾l(wèi)星一直在移動(dòng)),以及監(jiān)測會(huì)模糊視野的云朵。然后系統(tǒng)會(huì)刪除不可用的照片。
DigitalGlobe公司將Adaptive搭載Moab平臺(tái)的Big Workflow軟件包作為核心,以實(shí)現(xiàn)動(dòng)態(tài)分配資源、數(shù)據(jù)流量最大化、監(jiān)控圖像分析的系統(tǒng)效率。DigitalGlobe公司的檔案已經(jīng)覆蓋了全球超過45億平方公里的范圍。擁有了如此大的全球覆蓋面,使用Tomnod平臺(tái)就變得易如反掌,好心人就使用衛(wèi)星圖像可以幫助尋找370航班了。
“他們將創(chuàng)建一個(gè)自定義算法稱‘整架飛機(jī)看起來像這樣;疑似碎片和組件看起來像這樣,’”Adaptive公司的發(fā)言人Jill King表示,“他們訓(xùn)練電腦尋找那些形狀。它還可以尋找特定顏色,甚至是特定的反射光線。”
“然后數(shù)據(jù)中心會(huì)使用Moab來分析每一個(gè)形狀以確認(rèn)它們是否匹配(370航班)。”
Big Workflow讓DigitalGlobe公司可以處理地理空間的大數(shù)據(jù),并且在90分鐘內(nèi)識(shí)別類似飛機(jī)的形狀,從而在自然災(zāi)害以及像370航班這樣的事件中幫助救援者。
Big Workflow實(shí)現(xiàn)大范圍搜索
“Moab使我們在災(zāi)難來臨時(shí)能夠做出反應(yīng),”DigitalGlobe公司的首席架構(gòu)師Jason Bucholtz說,“而Big Workflow使我們能夠更快速地洞察不斷變化的世界,且無需對現(xiàn)存基礎(chǔ)設(shè)施增加新資源。”
在消失的370航班這一離奇事件中,DigitalGlobe公司通過眾包模式盡可能多地收集人們創(chuàng)建的數(shù)據(jù)。
“在Tomnod.com上,任何人都可以查看網(wǎng)格中的照片,你還可以標(biāo)記任何看起來有趣的東西。”Hardman說,“問題是,人們可以看到許多東西,但它們并不總是對的。例如,有人可能看見了他們認(rèn)為不尋常的東西,但它實(shí)際上只是一些漂浮的垃圾或者一波看似可疑的白浪。”
“所以DigitalGlobe公司做的就是輸入成千上萬人的信息,通過后臺(tái)的大數(shù)據(jù)過濾器運(yùn)行,給出‘印度洋的這片區(qū)域是許多人標(biāo)記感興趣的地方嗎?’這樣的問題,然后會(huì)對其進(jìn)行聚類分析。然后,搜救專家可能會(huì)說:‘那是一個(gè)熱點(diǎn),飛去那兒看看。’”
到太平洋時(shí)間3月15日下午2點(diǎn)為止,免費(fèi)使用的Tomnod.com網(wǎng)站表示共有421,388張照片生成并進(jìn)入分析引擎,每一張照片顯示了大約1,000到2,000英尺寬的印度洋海面。
Hardman說:“我不知道最后生成的范圍大小是多少,但它對于搜索的西部領(lǐng)域而言是一片非常、非常大的面積。”
到3月15日為止,搜索仍然在繼續(xù),成千上萬的人以及一個(gè)非常強(qiáng)大的圖片/數(shù)據(jù)分析引擎正在努力解開飛機(jī)消失的謎團(tuán)。
編者注:3月20日最新消息,澳大利亞海事局在南印度樣找到疑似馬航MH370失聯(lián)航班的碎片。根據(jù)DigitalGlobe公司發(fā)布的聲明,澳大利亞總理阿博特在新聞發(fā)布會(huì)中提到的衛(wèi)星影像正是來自于DigitalGlobe。