移動通信技術的迅猛發(fā)展使得智能移動終端成為信息獲取的新手段，而智能終端內置傳感器愈發(fā)豐富恰恰成為眾源地理數(shù)據(jù)采集的完美載體。移動互聯(lián)網時代，每個移動終端每時每刻都會產生豐富的時空信息資源，正形成人人都是地球空間信息員的新局面，催生了包括地理位置、移動速度、移動路徑、運動覆蓋面、照片等信息在內的海量的眾源地理數(shù)據(jù)。大量對地觀測數(shù)據(jù)對公眾免費開放下載和使用，以及云平臺的普及，催生了大量的云端資源環(huán)境數(shù)據(jù)，從而改變了傳統(tǒng)的資源環(huán)境生成方式，給資源環(huán)境監(jiān)測與評估提供了新的數(shù)據(jù)獲取方式。本文結合筆者近?30?年來在資源環(huán)境數(shù)據(jù)方面開展的研究，特別是近幾年大數(shù)據(jù)研究工作，從眾源地理數(shù)據(jù)、云端資源環(huán)境數(shù)據(jù)和云端資源環(huán)境專業(yè)服務?3?個部分遞進式闡述資源環(huán)境數(shù)據(jù)生成的大數(shù)據(jù)方法及潛力，并對未來的發(fā)展方向進行展望;以期能夠以新的大數(shù)據(jù)方法，改變當前資源環(huán)境數(shù)據(jù)的不透明現(xiàn)狀，促進科學與業(yè)務數(shù)據(jù)的聯(lián)結，推動大數(shù)據(jù)時代資源環(huán)境數(shù)據(jù)獲取方式及應用廣度的發(fā)展。
眾源地理數(shù)據(jù)
眾源地理信息是快速獲取大量具有地理位置數(shù)據(jù)的有效手段，主要通過眾多非專業(yè)人員采集數(shù)據(jù)，并按照特定標準將眾源地理數(shù)據(jù)匯交至服務器、分布式數(shù)據(jù)庫或云平臺的方式。通過這種方式獲取的數(shù)據(jù)被稱為眾源地理數(shù)據(jù)(volunteered geographic information，VGI)。
眾源地理數(shù)據(jù)已成為資源環(huán)境領域受青睞的數(shù)據(jù)獲取方式。眾源地理數(shù)據(jù)主要來源于大眾無意識的采集，采集方不需要根據(jù)特定目的，也不需要傳統(tǒng)數(shù)據(jù)采集的專業(yè)知識。早在?1890?年，現(xiàn)代通信技術發(fā)明之前，美國國家氣象局就建立了“公眾合作觀察者”(Cooperative Observer Program)項目。基于該項目的很多數(shù)據(jù)集，已經被廣泛地應用到了天氣監(jiān)測、極端天氣預警和氣候變化等科學研究中。此后，“北美繁殖鳥類調查計劃”(North American Breeding Bird)利用眾源方式長期跨國監(jiān)測鳥類種群活動，共記錄了?400?多種鳥類的分布格局和數(shù)量變化。進入?21?世紀以來，隨著移動互聯(lián)技術的發(fā)展，智能手機成為人們生活中必不可少的隨身設備，而眾多不同類型的移動應用程序陸續(xù)面世，進一步促進了眾源地理數(shù)據(jù)的發(fā)展。
數(shù)據(jù)眾源采集的發(fā)展趨勢十分迅速，特別是智能手機的普及為眾源數(shù)據(jù)提供了強大的采集手段。如?Fritz?等建立了?Geo-Wiki.Org?網站并發(fā)布“GEOwiki pictures”手機應用程序，使得全球的志愿者可以通過該應用上傳帶有?GPS?信息的照片，以提供森林、草地、農田、水體等生態(tài)系統(tǒng)的“眾源數(shù)據(jù)”;借此收集到相關地表覆被信息，用于修正和提升全球耕地分布數(shù)據(jù)分類質量。GIS cloud、Poimapper、GeoODK collect、FieldMap等眾多不同的移動應用程序也被廣泛用于眾源地理信息采集;ARCGIS?等傳統(tǒng)地理信息系統(tǒng)(geographic information system，GIS)工具提供商也紛紛開發(fā)出面向移動終端的應用程序，其中Collector for ArcGIS——用戶能夠使用“自定義表單”“精確定位”“離線地圖”“標注地塊”及“作物類型”等多樣化功能。
眾源地理數(shù)據(jù)為公眾提供了眾多日常服務。最為典型的例子是地圖服務提供商利用手機定位信息確定道路擁堵狀況，并實時提供路況研判、最優(yōu)導航路徑更新等信息服務，為公眾出行提供了便捷服務。英國的“OpenStreetMap”(OSM)也是基于眾源數(shù)據(jù)采集的理念，創(chuàng)造內容自由且能讓所有人編輯的全球范圍的地圖;注冊用戶可上傳由用戶根據(jù)手持?GPS?設備、航空攝影照片、衛(wèi)星影像或其他方式獲取的?GPS?路徑，并可以使用?OSM?網站的編輯器或其他軟件編輯地圖的矢量數(shù)據(jù)，以實現(xiàn)網上地圖協(xié)同維護的目標。
通過照片可收集很多的信息，如判斷地物形狀、路徑等信息。國內外也發(fā)展了很多手機端眾源數(shù)據(jù)的地理數(shù)據(jù)采集軟件，并在這個基礎上開展很多應用。例如用于土地覆被的驗證數(shù)據(jù)源，可以為作物生長提供監(jiān)測信息，也可以為極端氣候與氣候變化提供預警信息。2015?年以來，全球農情遙感速報團隊通過將原有的“GVG(GPS、VIDEO?和?GIS)農情采樣系統(tǒng)”桌面端軟件升級移植至智能手機端，并在智能手機應用市場對外開放，實現(xiàn)了農作物種植狀況照片的隨時隨地采集。利用該方法已成功實現(xiàn)了農田照片與作物類型的快速采集;每年獲得由不同用戶在全球范圍開展的作物種植結構調查數(shù)據(jù)記錄達?10?萬余條，大幅縮減了全球范圍作物種植結構信息獲取的時間和財力，并為作物種植面積估算與預測提供地面觀測大數(shù)據(jù)支撐(圖?1)。2017?年依托該應用程序，在?70?天內，快速高效獲取了覆蓋全國?1?381?個縣級行政單元超過?75?萬條作物種植狀況地面樣本信息，支撐了?2017?年全國水田/旱地及其他土地覆被分區(qū)域提取。升級后的“GVG?眾源地理數(shù)據(jù)采集”應用程序采用固定表單的形式，為非專業(yè)人員提供不同土地覆被類型標識的解決方案，降低了眾源地理數(shù)據(jù)采集過程的不確定性;“GVG?眾源地理數(shù)據(jù)采集”應用程序改變了過去需要開展全球地面觀測或通過數(shù)據(jù)共享獲取地面觀測資料的工作模式，在減少地面觀測工作量的同時，也大大減少地面觀測的人力和財力投入，為土地覆被分類的樣本獲取提供經濟有效的解決方案。該應用程序目前已經可在谷歌、蘋果、華為等應用平臺免費下載和使用;該應用與云端服務器實時通訊，用戶僅需要進行簡單的賬號驗證以后，便可以使用其采集土地覆被、農作物樣本等信息;伴隨著用戶數(shù)量的增多，通過該應用程序采集數(shù)據(jù)時，大數(shù)據(jù)的意味也越濃。
然而，當前手機照片能提供的信息并沒有得到充分的利用，目前的應用只是粗淺的，深度應用還有待進一步開發(fā)和發(fā)展。隨著手機功能的不斷強大，嵌入的傳感器越來越多，以及內置各種傳感器的應用程序越來越多，可測量的信息就越來越多。例如：利用智能手機進行單片測樹，包括樹高、胸徑和材質;?Kinect?傳感器技術提供的植株冠層三維測量的方法等。這些全新的內置傳感器及相應的應用程序使得手機可采集的信息更加寬泛，而有些信息恰恰可以取代當前資源環(huán)境領域花費大量人力物力、樂此不疲采集信息的落后方式。眾源數(shù)據(jù)獲取方法，由于數(shù)據(jù)采集更加高效，可獲取數(shù)據(jù)量也將有大幅提升，甚至可以通過海量眾源數(shù)據(jù)克服當前數(shù)據(jù)采集過程中系統(tǒng)性和代表性不足的弊端，從而實現(xiàn)眾源地理數(shù)據(jù)逐漸替代傳統(tǒng)行業(yè)部門數(shù)據(jù)采集的方式;更是大幅提高業(yè)務部門工作效率的有效手段，將逐漸替代傳統(tǒng)的雇傭、派遣的數(shù)據(jù)采集方式。公眾的參與，避免了業(yè)務數(shù)據(jù)調查過程中的大量投入，并逐漸淡化業(yè)務數(shù)據(jù)的專業(yè)性，使得數(shù)據(jù)走向大眾化，實現(xiàn)大眾共同參與資源環(huán)境管理的新局面。
此外，眾源數(shù)據(jù)采集者的無意識和非專業(yè)特點使得眾源數(shù)據(jù)存在不一致性、不完整性等問題，造成眾源數(shù)據(jù)具有一定程度的不確定性。目前的解決辦法是，在眾源采集進行數(shù)據(jù)匯交時，通過一種明確的機制和標準規(guī)范實現(xiàn)數(shù)據(jù)的匯集和集中管理，自動對眾源數(shù)據(jù)進行標準化整理與分析。通過固定選項的方式進行數(shù)據(jù)標識，可以提高非專業(yè)人員采集數(shù)據(jù)的標準化程度，降低數(shù)據(jù)的不確定，提高數(shù)據(jù)的有效性。這種策略解決了眾源數(shù)據(jù)的規(guī)整、匯聚問題以及數(shù)據(jù)采集的標準化問題，并大幅降低眾源數(shù)據(jù)的不確定性，提升其可用性;然而這種方式也限制了大眾的無意識行為，從無意識的采集數(shù)據(jù)變成了有意識的數(shù)據(jù)收集，從而導致眾源數(shù)據(jù)“小眾”化，而這一點則是眾源數(shù)據(jù)采集面臨的最大問題。
云端資源環(huán)境數(shù)據(jù)
21?世紀以來，隨著對地觀測數(shù)據(jù)的爆炸性增長和廣泛應用，人類開始對地球實現(xiàn)多尺度、全方位的立體觀測，海量多源遙感數(shù)據(jù)給資環(huán)環(huán)境監(jiān)測帶來了極大的便利。然而，面對動輒幾十、成千上萬幅的長時間序列遙感數(shù)據(jù)，傳統(tǒng)計算機的計算模式已經遠遠不能滿足如此大數(shù)據(jù)量數(shù)據(jù)的快速處理工作。
隨著網絡和計算機技術的變革，云存儲和云計算技術已經在過去幾年得到了迅速發(fā)展。相比傳統(tǒng)的個人計算機、服務器，云平臺具備計算效率高、性能強、可彈性擴展、存儲容量大、價格低、數(shù)據(jù)安全等特點，非常適合用于海量地理數(shù)據(jù)的處理與運算。地理數(shù)據(jù)云平臺隨著自身的普及，通過云平臺調用數(shù)據(jù)的方式，越來越多地成為資源環(huán)境數(shù)據(jù)研究和生產的平臺。利用云平臺上的高速計算設備，無需將大量數(shù)據(jù)下載到本地進行計算，即可在云端對數(shù)據(jù)進行有效處理，并將分析處理后的最終結果提取或下載到本地使用，從而大大提高資源環(huán)境數(shù)據(jù)分析的效率;還可以對更長時間序列、更高的空間尺度對地表資源環(huán)境進行分析，擺脫了運算、存儲能力的限制。這催生了大量的云端資源環(huán)境數(shù)據(jù)。
2011?年，Google?公司發(fā)布了“Google Earth Engine”地理數(shù)據(jù)云計算平臺。與此同時，澳大利亞地球科學院(Australian Geoscience)也于?2011?年提出并開發(fā)了云端地理數(shù)據(jù)處理方案“Data Cube”，并運行在澳大利亞超算平臺中，從而實現(xiàn)了對澳大利亞全境的、包括遙感、氣象、地面站點數(shù)據(jù)的一致性數(shù)據(jù)管理構架。通過平臺調用的方式，用戶可以在個人計算機上通過瀏覽器實現(xiàn)對澳大利亞全境的地學數(shù)據(jù)進行處理與分析。2016?年，澳大利亞將“Data Cube”開源化，完全公開了當前所有數(shù)據(jù)構架和應用算法，并支持用戶構建自己的數(shù)據(jù)管理與運算系統(tǒng)，因此得到了全球用戶的廣泛支持。另外，“AWS?亞馬遜云”通過公開對地觀測數(shù)據(jù)，共計開放了包括“NASA Earth Exchange數(shù)據(jù)集”“全球的?Landsat?系列”“Sentinel?系列衛(wèi)星”“氣象雷達(NEXRAD)”“美國農業(yè)影像計劃(NAIP)”和“數(shù)字高程(DEM)”等共計?61?組數(shù)據(jù)集。借助這些云端對地觀測數(shù)據(jù)，科學家可以方便地在云端開展全球資源環(huán)境監(jiān)測。
云計算和機器學習極大地促進了資源環(huán)境監(jiān)測向高分辨率要素類監(jiān)測的轉變。例如，我國科學家借助“Google Cloud”，生產了?30?m?全球土地覆被產品。歐盟聯(lián)合研究中心基于“Google Earth Engine”完成了1984—2015?年全球尺度?30?m?分辨率陸表水體空間分布監(jiān)測。由于陸表水體是區(qū)域水資源狀況的最直觀反映，長時間、可比較的序列數(shù)據(jù)集為診斷干旱生態(tài)系統(tǒng)水資源脅迫程度及其變化提供了十分有價值的信息：歐盟聯(lián)合研究中心開展了?1975、1990、2000?和?2014?年全球人居用地監(jiān)測;美國馬里蘭完成?2000—2016?年全球?30?m?分辨率的森林覆蓋的變化監(jiān)測;美國地質調查局?USGS?采用“Google Earth Engine”與超級計算機，首次完成?2015?年全球?30?m?分辨率的耕地種植空間分布圖;中國科學院遙感與數(shù)字地球研究所完成?2015?年全球?30?m?分辨率火燒跡地的遙感監(jiān)測。歐空局針對“Sentinel數(shù)據(jù)集”，開發(fā)“S2ToolBox”工具，可開展空間分辨率為?20?m?的植被葉面積指數(shù)(LAI)、植被光合有效輻射吸收比(FAPAR)、植被覆蓋度(FCOVER)監(jiān)測，將生態(tài)參數(shù)監(jiān)測提升到與類型監(jiān)測相同的分辨率，實質性地實現(xiàn)了高分辨率的類型與功能一體化監(jiān)測。
新的數(shù)據(jù)源將不斷出現(xiàn)，新的分類、識別及分析手段，特別是人工智能(AI)技術的發(fā)展日新月異，使得云端的資源環(huán)境數(shù)據(jù)產品高、中、低分辨率齊全，而且中、高分辨率遙感數(shù)據(jù)種類越來越多，分辨率也越來越高——從過去的公里級，逐漸發(fā)展百米級、十米級的數(shù)據(jù)產品，未來米級的數(shù)據(jù)產品也必將涌現(xiàn)。全球尺度、更高分辨率的遙感產品生產將成為主流趨勢，而且將成為對地觀測領域競相角逐的制高點。高分辨率的云端資源環(huán)境數(shù)據(jù)普及后，科學研究和業(yè)務生產之間的界限將大大淡化;依托云端的強大運算能力和公開的數(shù)據(jù)資源，生產高分辨率的數(shù)據(jù)產品將逐漸取代以生產數(shù)據(jù)為己任的專業(yè)業(yè)務部門的職能。
云端資源環(huán)境專業(yè)服務
云端儲藏的海量數(shù)據(jù)，以及快捷方便的信息提取，為資源環(huán)境問題的發(fā)現(xiàn)及專業(yè)服務提供了新途徑。
云端水資源環(huán)境監(jiān)測
筆者綜合?Google?云存儲的?2000—2015?年的歐盟聯(lián)合研究中心水面監(jiān)測數(shù)據(jù)集，利用“Google Earth Engine”(GEE)，綜合利用“哨兵?1?號”雷達遙感數(shù)據(jù)?VV?極化的后向散射系數(shù)、“哨兵?2?號”多光譜遙感數(shù)據(jù)計算的歸一化水體指數(shù)，分析?2000—2017?年北京市常年水體面積的變化：2000—2015?年北京市的常年水面面積呈快速下降的趨勢，由?2000?年的?515?km2減至?2015?年的?197?km2，累計縮減?318?km2，減幅?61.7%;2015—2017年北京市常年水面面積有所反彈，監(jiān)測表明?2016?和?2017?年北京市的常年水體面積為?244?和?285?km2，分別比?2015?年增長?47?和?85?km2。基于?GEE?上存儲的“熱帶降水雷達多衛(wèi)星遙感降水數(shù)據(jù)”(TRMM)，分析了?2000—2017?年北京市降水的變化趨勢，發(fā)現(xiàn)?2000—2017?年北京市的降水強度呈現(xiàn)波動上升的趨勢(圖2)。南水北調中線工程的竣工供水，是?2015—2017年北京市水面面積反彈的主要原因。《北京市水資源公報》顯示，僅?2016?年南水北調工程向北京供水?10.63?億立方米。常年水面面積的變化是自然與人類活動要素綜合作用下，區(qū)域水資源豐枯變化的綜合表征，只需利用云端數(shù)據(jù)就可以監(jiān)測并評估北京市水資源管理的效果。
云端農情資源監(jiān)測
要想獲取某一個領域的專業(yè)信息，需要對云端數(shù)據(jù)進行抽取、集成與分析，提供專業(yè)化的服務。2013年起，筆者團隊開發(fā)的“CropWatch”利用大數(shù)據(jù)技術分析不同用戶對農情監(jiān)測與預警信息需求的差異化，面向不同需求的農情信息建立了云服務平臺，為不同的農情信息需求者提供不同的農情信息服務，建成了基于公有云的參與式全球自助式農情遙感監(jiān)測云平臺——“CropWatch-Cloud”，包含“全球農情在線生產系統(tǒng)”(CropWatch Pro)、“全球農情在線瀏覽”(CropWatch Explorer)、“全球農情遙感速報在線分析”(CropWatch Analysis)與“全球農情在線發(fā)布”(CropWatch Bulletin)四大模塊，實現(xiàn)云端數(shù)據(jù)的抽取與集成、監(jiān)測模型處理云端化、數(shù)據(jù)信息透明化、分析參與開放化以及監(jiān)測成果公開化的鏈式無縫集成(圖?3)。
基于公有云的“CropWatch Pro”，通過對云端數(shù)據(jù)的抽取與匯聚，實現(xiàn)了全自動的全球農業(yè)氣象條件監(jiān)測、農作物生長狀況監(jiān)測和全球糧食供應形勢監(jiān)測相結合的業(yè)務化運行。同時，云平臺向用戶開放了數(shù)據(jù)和計算能力，用戶可以在系統(tǒng)中運行和測試自己的農情算法，并使用自己的算法生產相關的農情監(jiān)測產品和農情分析。
“CropWatch Explorer”通過矢量地圖、柵格地圖、動態(tài)圖表相結合的方式，用瀏覽器展示全球農情監(jiān)測中多種農氣、農情、糧食生產形勢指標，實現(xiàn)近實時的全球農情在線信息服務。
“CropWatch Analysis”包括創(chuàng)建分析任務、分配任務、在線分析與提交、發(fā)布分析報告等功能。使用戶在任何時間地點，即可通過互聯(lián)網設備無障礙的完成感興趣區(qū)域的農情遙感監(jiān)測與分析，實現(xiàn)全球各國相關專家的遠程參與全球農情遙感速報的監(jiān)測與分析工作，共同編寫多語言版全球農情遙感速報，從而大幅提升全球農情遙感速報的全球參與度。
借助容器化服務技術，“CropWatch”封裝了體系中所有的農情算法，通過微服務的方式滿足用戶定制化農情系統(tǒng)的需求。借助這一服務，為“一帶一路”沿線國家提供了定制化的農情監(jiān)測系統(tǒng)，大幅提高這些國家的農情監(jiān)測水平。
云計算已經越來越多地改變了當前數(shù)據(jù)存儲和處理的方法與理念。與傳統(tǒng)的地理信息系統(tǒng)相比，云端專業(yè)服務系統(tǒng)的建立、定制、更新與維護的成本顯著降低;同時，云平臺的特點決定了用戶不再需要在下載和處理數(shù)據(jù)上浪費時間，人們可以在任何時間、任何地點，對世界上的任何感興趣的區(qū)域，進行資源環(huán)境的監(jiān)測與分析，從而突破了以往國界、地域、領域的限制，使得人類第一次可以共同應對人類共同面臨的資源環(huán)境問題。
展望
云端的資源環(huán)境數(shù)據(jù)產品數(shù)量成指數(shù)增長，不同于當前的數(shù)據(jù)大多存儲在各個實驗室的現(xiàn)狀，數(shù)據(jù)將不再是深藏于生產者的硬盤、部門的檔案庫里，云端數(shù)據(jù)讓資源環(huán)境數(shù)據(jù)人人觸手可及。云端數(shù)據(jù)的易獲取、易對比、易使用的特點，大幅提高了數(shù)據(jù)的透明度和置信度。
基于眾源地理數(shù)據(jù)和大數(shù)據(jù)獲取資源環(huán)境數(shù)據(jù)的方法將逐漸替代傳統(tǒng)的業(yè)務方法，并更加有效地服務行業(yè)部門，實現(xiàn)了公眾對資源環(huán)境監(jiān)測與管理的參與，契合了資源環(huán)境是人類共同利益的所在。這將使得現(xiàn)有的資源環(huán)境數(shù)據(jù)獲取方法、管理方式與信息價值的挖掘被更加高效的眾源和大數(shù)據(jù)方法所替代，專業(yè)機構的數(shù)據(jù)生產職能也將逐漸淡化，從而大幅提高數(shù)據(jù)采集效率、信息價值挖掘，并顯著降低監(jiān)測成本
京公網安備 11010502049343號