記者從中國地質(zhì)調(diào)查局實物地質(zhì)資料中心獲悉,該中心與西安地質(zhì)調(diào)查中心大數(shù)據(jù)團隊通過聯(lián)合攻關(guān),日前成功搭建起了全國實物地質(zhì)資料大數(shù)據(jù)框架,形成了具有多節(jié)點水平擴展能力的分布式互聯(lián)數(shù)據(jù)中心資源池,并實現(xiàn)了海量實物地質(zhì)資料圖文一體化聚合存儲、異構(gòu)數(shù)據(jù)高速解析、行業(yè)級跨平臺無縫對接、用戶桌面和移動端無障礙瀏覽等多項關(guān)鍵技術(shù)與實用服務功能。
據(jù)介紹,隨著全國重要鉆孔數(shù)據(jù)庫項目工作在“十三五”時期全面鋪開,國家級館藏機構(gòu)和省級館藏巖心、薄片、標本等資源數(shù)字化工作成果日積月累,產(chǎn)生的非結(jié)構(gòu)化圖件類數(shù)據(jù)經(jīng)切片處理后已達到數(shù)百萬級。
根據(jù)全國實物地質(zhì)資料管理與服務的需求,解決信息化服務面臨的“如何管起來、如何用起來、如何數(shù)據(jù)共享”三個挑戰(zhàn),按照國土資源部實物地質(zhì)資料分散保管、集中服務的管理原則,中國地調(diào)局實物地質(zhì)資料中心和西安地調(diào)中心科研人員集中攻關(guān),經(jīng)過反復多次試驗和對比多種大數(shù)據(jù)服務框架,終于在實物地質(zhì)資料大數(shù)據(jù)框架應用方面取得了突破。
據(jù)介紹,全國實物地質(zhì)資料大數(shù)據(jù)平臺服務框架實現(xiàn)了圖件類非結(jié)構(gòu)化數(shù)據(jù)以編碼流的形式推送到數(shù)據(jù)庫統(tǒng)一管理,對外服務由Windows門戶提供交互接口服務,并支持門戶頁面定制和數(shù)據(jù)共享,對內(nèi)數(shù)據(jù)管理由基于Linux系統(tǒng)集群環(huán)境支撐,所有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)推送到Nodes節(jié)點上,數(shù)據(jù)的查詢調(diào)度由充當全局交易檢測(GTM)和協(xié)調(diào)員(Coordinator)角色的服務器實現(xiàn),框架具備靈活的增刪節(jié)點橫向擴展能力。
目前,全國實物地質(zhì)資料大數(shù)據(jù)平臺框架內(nèi)已推送了1:3500萬比例尺世界地質(zhì)圖數(shù)據(jù)庫、1:250萬比例尺中國地質(zhì)圖數(shù)據(jù)庫和全國重要鉆孔數(shù)據(jù)庫目錄及柱狀圖影像數(shù)據(jù),信息檢索效率已達毫秒級,為地質(zhì)大數(shù)據(jù)工程發(fā)揮了落地應用和示范作用。