大數據范圍越來越廣,隨著不同應用的爆發式增長,數據分析正在被更多行業企業所知曉并實踐,比如互聯網、金融、零售、醫療、以及制造業等。與此同時,對于統計分析系統應用的爭論,也隨著應用與實踐的逐步深入而日趨激烈。
正如之前就“數據收集與分析”的話題與 LinkedIn商業分析部總監張溪夢討論時,他特別提到的一點:“統計分析有兩個知名系統,SAS和R。前者穩定,閉源,功能眾多,大型企業用戶很多。后者,開源,反應快,但并不穩定,專業領域優勢明顯,年輕人很喜歡用。各有空間和市場。”是的,直到現在,圍繞SAS和R,仍有不同的擁護者在持續熱烈地討論。
WildTrack動物保護組織聯合創始人Zoe Jewell及Sky Alibhai博士
有這樣感觸的不僅是企業,還有很多需要進行數據分析的組織。近日,有機會與SAS軟件旗下的JMP軟件大中華區總經理嚴雪林、WildTrack動物保護組織聯合創始人Zoe Jewell及Sky Alibhai博士溝通,深入了解了作為公益性動物保護組織,WildTrack是如何在JMP統計分析軟件上開發出自己的技術——FIT(Footprints Identification Technology,足跡識別技術)。
我們討論的重點在:FIT研發方向、對底層數據分析平臺的需求、技術困難和實現路徑、為何沒有選擇R、未來在國內野生動物保護(東北虎和大熊貓等)方面的應用等。值得敬佩的是,FIT技術已經全面對野生動物保護機構和個人開放(免費),而作為其底層分析平臺,近20年來,JMP公司一直免費為全球野生動物保護組織提供。
FIT,數據分析平臺上的“APP”
Jewell是WildTrack動物保護組織聯合創始人兼主席,擁有倫敦衛生與熱帶病醫學院理科碩士及劍橋大學獸醫碩士。他告訴我,FIT,足跡識別技術,實際上是基于JMP軟件的數據分析方法創造出來的“APP或工具包”(我們更傾向認為這是一種SaaS)。其原理是通過動物腳印的分析、追蹤、比較來進行數據分析,確定整個生物種群的生存、生活規律和發展的狀況,為動物保護有關方面的決策打下基礎。FIT已經在非洲大象、黑犀牛、白犀牛、獅子、獵豹、犰狳、北極熊等動物追蹤和分析中都有所應用。更有意思的是,Jewell和Alibhai已經與國家林業局貓科動物研究中心一起,在東北虎基地里面做了很多野外工作,并與四川臥龍和雅安一起,共同為大熊貓的保護和野生大熊貓種群的調查、探尋做著基礎的培訓工作。
FIT足跡識別技術
談到FIT技術的研發初衷,是很多年以前,Jewell在中非的津巴布韋附近的一個公園里做野生動物保護工作的時候,給犀牛安裝了無線電項圈,從而監控其生存狀態。當時,無線電是很先進的技術,也很昂貴,但并不是很有效(在草原上容易使用,但在森林或灌木叢中,并不好用)。更可怕的是,十多年過去,通過Jewell和Alibhai的研究發現,因為無線電技術的應用,雌性犀牛的受孕率不斷下降(沒有佩戴無線電的母犀牛每三年就會自然懷孕一次,但當不斷的增加戴項圈的次數后,其兩次懷孕之間的間隔可長達十年)。
Alibhai 是WildTrack動物保護組織共同創始人,擁有烏干達馬凱雷雷大學動物學學士、牛津大學動物學哲學博士,對這種“侵入式技術”保護動物的負面影響,他非常重視和傷心,一直在積極探索新的“非侵入式”動物保護方法。
有沒有有效、低成本、非侵入式,盡可能不影響動物,對動物的傷害盡可能少,并且在任何地方都可以使用的新技術?Jewell 說:“一次和非洲動物追蹤者一起工作時,當我們在非洲獵人面前使用無線技術時,遭到了嘲笑。他們說‘為什么你們使用這么愚蠢的技術,而不通過腳印。這樣多簡單、多直接、多清晰。’”
如果要從頭開始研發足跡識別技術,對于動物學家們而言,幾乎不可能(被迫的學習背后的統計學原理和技術,這對動物學家而言是不可思議的)。他們需要能夠支持個性化開發的數據分析平臺。
Alibhai說:“那個時候我們很想找到一些簡單的數據分析方法,去幫助我們了解這些腳印分析的原理是什么,很偶然的機會知道了JMP軟件(SAS軟件旗下產品)。我們拿到的第一個版本的JMP是在20年以前,JMP有個很獨特的地方,JMP有自己的編程語言,叫JMP Script Language(JSL)腳本語言。和其他程序語言不一樣的地方是,它很簡單,很容易讀,不像計算機編程那樣涉及到很多原理性的東西,它都是在應用層面的。”
將圖形、圖像引入數據分析的世界
在獲得JMP公益性支持之后,Jewell和Alibhai開始一步步構建起他們的足跡識別技術。當然,問題很多:
如何辨識腳印?用數碼攝像機或者普通照相機來拍攝。
如何辨識其中的區別模式?來確保能夠準確地將兩組看起來很相似的腳印中辨別出這是兩只不同的犀牛。這需要找到一套簡單的統計方法來建立模型。事實上,正常人眼中一樣的腳印,在統計學中是有顯著差異的。其目標是,通過模型將腳印還原回犀牛的世界,區分究竟是一只犀牛還是兩只完全不同的犀牛。
如何辨識出如動物性別這樣更深層次的需求?也就是說,除了辨識它是屬于不同的犀牛之外,還要能夠辨認出它到底是屬于雌性犀牛還是雄性犀牛。
FIT中東北虎腳印對比分析圖
這其中,在底層分析系統中針對Jewell和Alibhai的需求進行開發必不可少。當Jewell和Alibhai希望技術開發人員能夠將“圖形、圖像引入數據分析的世界,通過我們提供的圖形來分析其中的元素,并找出圖形之間顯著、規律性的差別。”SAS軟件的聯合創始人,也是JMP的創始人John Sall幫了大忙。要知道,在統計分析軟件中,1980年就已存在的JMP在可視化方面很強,因為其一開始的使命就是結合圖形化,使基于大型計算機、小型機的分析簡單而統一。John Sall同意將需求引入JMP,并進行新的開發,以幫助Jewell和Alibhai實現可視化目標。
事實上,通過JMP中復雜的數學原理和方法開發FIT工具包,實現在辨別動物身份的同時,辨別性別、年齡等目標都已經實現。而通過對區域內動物腳印分析,可以確認動物數量和活動范圍,進而為制定動物保護策劃提供依據。這些FIT已經做到,是“非常了不起的突破”。
當相關論文被發表之后,來自中國東北林業大學國家林業局貓科動物研究中心的姜廣順教授主動聯系了他們。姜教授面臨的最大挑戰是:中國大興安嶺、小興安嶺地區的野生老虎通常活動的范圍在哪里?數量有多少?這些老虎性別的比例是什么樣的?他曾經通過很多傳統方法,如看糞便、用自動野外的攝像機追蹤、DNA分析等,但都無法得到關鍵信息,所以希望能得到Jewell和Alibhai的幫助。“去年,東北野生動物調查員所收集的視覺信息、圖片信息交給我們后,通過FIT詳細的分析,我們得出了一個特定區域有七只野生老虎的結論,并將其中的性別、比例等分析結果都給到了姜教授。”
“不僅是東北虎,還有野生大熊貓,能夠參與到中國以及世界上兩個最重要的瀕危物種的保護當中去,對我們來說,這是一件非常榮幸的事情。我們也驚喜地看到,中國政府在野生動物的保護方面正在投入越來越多的資源,在政府層面得到越來越多的重視,和我們打交道的中國政府機構官員都非常熱情,并且非常主動地展現出極高的興趣來和我們合作。最近,在臥龍和雅安的大熊貓保護基地,本來以為需要好幾個月才能拿到腳印等資料,結果回答說,只要兩三周就可以把一切工作結束。這讓我們很驚訝。能夠和這樣重視動物保護,并且愿意投入大量資源的政府合作去保護這些動物,使得我們的工作變得更加有效,也更加有意義。” Jewell對我說。
在動物保護領域,JMP和FIT是免費的
對于像Jewell和Alibhai這樣的科學家而言(或者是工程師,數據分析員),他們的工作,更應該是將這些工具集按照自己所需要的工作順序和邏輯管理好、整合好,形成簡單、易用的工具包,便于做現場分析和調查的時候,能夠直接調用。而實現這一目標,其中的技術路徑很有價值。
野生東北虎的腳印變成一組組的X坐標和Y坐標的數據
不同的物種,需要在FIT中調整各個不同的參數?還是開發不同的模塊來做分析?
Jewell:FIT在JMP軟件里附加的一個工具包,菜單中有不同生物種群的組合。每個物種都有很獨特腳印的模式和特征,有些物種有高度的相似性,比如貓科動物里的老虎、獅子、豹、山貓等等,它們的腳印模式都是四個腳趾頭在前,后面一個大的腳掌的印子,不僅長相一樣,模式也有高度的相似性。對于那些生物來說,只要調整里面一些關鍵的參數就可以。對于其他的一些物種來說,就要開發出一些完全不同的新的工具包或模塊來做,比如大熊貓,大熊貓和貓科動物不一樣的地方在于,大熊貓的前面有五個腳趾,在側面還有一個專門用于抓握東西的另外的小趾頭,在底下還有一塊類似于小腳掌的東西,所以它的模式、結構長相和其他動物是不一樣的。而以大象來舉例,所有大象的腳印都是一樣,都是一個巨大的橢圓形,沒有太多的細節可以參考,所以它辨識的難度自然要增加一些。所以專門為大象這樣的物種,開發出完全全新的模塊,去適應它的腳掌。
Alibhai:大熊貓的腳趾很特別,有五個腳趾。這個在功能上來講和人類的大拇指是一樣的,是類似于墊、腳掌一類的東西,非常獨特,是和所有的生物都完全不一樣的模式。所以對于大熊貓來說,我們開發出完全不同的新的模塊,去分析它們的這些特征。首先是找到它的腳掌的圖像,然后將腳掌信息拆分成很多小的信息,這些信息包括腳趾之間的距離,中心點之間的距離,各個中心點連線之后不同的角度、每一個腳趾邊緣的關鍵數據信息等,作為原始數據來分析。
需要的開發點在哪些方面?
Jewell:FIT都是用JMP的腳本語言開發出來的?,F在還在持續開發,增加更多功能和特征,讓它變成對于野外工作的人來說更加容易使用和辨識,而不需要懂太多統計學原理和技術。舉個例子,從操作層面看,只要將圖片的信息拉入菜單,就可以自動計算圖形特征,并自由設置圖像點,來對圖形圖像進行旋轉和重新處理,確保與標準化樣本一致。這樣就不需要對野外取證人員有太苛刻的要求才可以拍照,因為標尺度已經設置在系統中,只要簡單操作就可以完成。除此以外,還可以通過不同的參數設置,如雪的厚度會影響腳印,很深的雪和很淺的雪,出來的效果有可能是不一樣的。所以系統允許輸入不同參數,即取照時雪的厚度是怎樣,系統就會自動調整圖形的關鍵位置的參考點?,F在,我們還在與北卡州立大學的工程系同事們一起做一項新的項目,將整個過程自動化,即完全自動的對這個圖像信息進行處理。以后,還將有深度圖和3D圖的分析,以及通過反面信息看到正面信息,讓FIT更加完善和易用。
東北虎的腳印分析過程是怎么樣的?
Jewell:首先通過圈養或者捕獲的東北虎進行樣本的對照,通過反復校驗模型和嚴密的測試,最終保證了近乎100%準確度。而后,通過圖像分析和數據處理,將野生東北虎的腳印變成一組組的X坐標和Y坐標的數據。對一張腳印圖形而言,需要130個測量值。我們對比分析了600張腳印數據,得出44頭東北虎的結論。并通過進一步的設定,判斷這是哪種類型的東北虎(雄性或雌性),以及是年輕或年老的。而這些結論,都可以通過圖形分析展現出來。
FIT技術上很有特點,是否會考慮開源,可以讓更多企業或組織來使用?
Jewell:在動物保護中,JMP很慷慨(John Sall做出承諾,任何野生動物保護的組織都可以免費使用JMP),他不僅為我們,還為更多動物保護的組織和個人提供免費的JMP。FIT現在也免費提供給大家。這已經相當于開源了。所有的機構、組織和個人都能免費使用這項新的、好的技術。
有沒有考慮過FIT也可以在R語言中應用?
Jewell:沒有選擇R的一個關鍵原因是R沒有辦法像JMP一樣對圖形進行強大的量化和處理的能力。FIT還沒有百分之百的完全成型,我們還將不斷完善這個產品,比如界面更美觀、細節更完善、使用過程要更加平滑和易用。但無論它將來能夠成熟到什么樣的地步,我們都希望FIT是免費提供給別人使用。
FIT對IT系統有要求么?
Alibhai:腳印一般都是一串一串的,要確保信息的完整性和準確性,數據量就要大。對比兩個腳印和兩串腳印,計算量是幾何級數增加的。一般兩組數據對比時,需要調用數百次的模型對比分析。這樣對后臺運算次數和數量要求較高。但隨著目前IT產品性能的提升,很容易滿足相關需求。
Alibhai:我們測試過JMP和其他統計軟件,也測試過R。從處理速度上看,數據量很小的時候,幾乎差不多。但是當數據量很大時,就會出現百倍甚至千倍的差異。R的開源特征使得其在統計有效性驗證方面有問題,而軟件工程中的穩定性和可靠性也比較有挑戰。我們希望得到的是反復測試校驗后,模型有效性得到明確的驗證平臺。
是否會將攝像、無線電、監控等其他技術也集合到FIT中?
Jewell:每一個技術都有它的優點和缺陷,我們一定要整合技術的優點。雖然無線電對某些種群有傷害,但對其他種群傷害較小。野外保護里現在有一個越來越流行、越來越新的邏輯,就是成本要盡可能低、有效,實施、落實要相對簡單。我們希望得到真實的、自然的野生動物的數據,要確保整個數據獲取的過程對它們的影響要盡可能的小,就是非侵入性的理念。
在統計分析平臺上,應用分析將會百花齊放
當被問到分析和云計算是否能緊密結合時,JMP軟件大中華區總經理嚴雪林的觀點很值得品味:“統計分析對于實時要求并不高,同樣的數據,十個統計學家得出的結論可能會有十種。所以需要反復討論、模型訓練,需要依照統計模型和數據原理來算出無限的接近和模擬的分析結論。這一過程有時候會很長,甚至會到1-2年。舉個例子,比如股票K線圖,可以每一秒都實時,但分析不會。 ”所以在他看來,“現在,分析和云結合并不緊密”。
SAS軟件旗下的JMP軟件大中華區總經理 嚴雪林
雖然明顯與大數據浪潮下的數據分析的熱度背離,但這樣的觀點卻非常現實。要知道,在銀行業、高科技、半導體、制藥、生物等對數據分析成熟度較高的行業中,已經成為研發的黃金標準或公認標準的JMP是很有發言權的。嚴雪林說:“數據分析不僅在中國,即使在全球也還沒有進入一個主流應用的領域。很多大型企業內部報表還是Excel,商業智能軟件都還沒有。BI是數據展示,當發現其中有些項目或者業績出現變化時,就需要進行統計分析了。而目前現狀是,即使是行業領先企業,數據分析也沒有落實到這些層面,比如銀行,對于風險、市場營銷、運營、財務、績效管理、網點設置等關鍵領域導入數據進行分析的意識還不足。”
“值得高興的是,現在很多大的廠商都構建了獨立的數據分析團隊,嘗試性的做交叉銷售、提升銷售、交易關聯性分析。企業數據應用深度、市場競爭力、整體環境的變化都使得這兩年數據分析熱了起來。相信未來,在統計分析的平臺上,應用分析將會百花齊放。”
寫在最后:
嚴雪林、Jewell以及 Alibhai博士幽默且坦率的回答給我們留下了深刻的印象。而報以最熱烈掌聲的是,在FIT的開發和應用中,沒有任何商業利益的存在,唯一的利益所在就是要保護動物、保護自然生態。就像Jewell和Alibhai所參加的中國野生動物保護項目,沒有任何商業利益在內,即使是差旅費用,都是他們自己支付的。有一種追求,值得尊敬。