隨著數字經濟不斷發展,數據作為關鍵的生產要素,重要性已不言而喻。就在不久之前結束的全國兩會上,還正式組建了《國家數據局》這一全新的國家機構,主要負責協調推進數據基礎制度建設,統籌數據資源整合共享和開發利用,統籌推進數字中國、數字經濟、數字社會規劃和建設等職能。
國家數據局的“橫空出世”,與當前國有經濟作為國民經濟的主導力量、國央企在數字化轉型領域具有使命特征的現實因素息息相關——大量數據資源在政府以及國央企數字化轉型的過程中產生。然而,由于用戶之間各自獨立,數據缺乏流動、相對封閉,導致了數據孤島“煙囪”矗立、歷史數據無集中管理、數據量龐雜繁復等局限,限制了其發展。
聚焦政府行業,如何在海量數據中發掘數據價值,品高股份在大數據領域積極探索,以智能湖倉系統幫助政府客戶打通“數據孤島”、促進數據流通與共享利用。
基于云原生數據湖的新一代政務大數據解決方案
品高智能湖倉系統是基于標準品高數據湖管理平臺產品(BingoInsight)研發,對基礎功能進行打散重組、升級改造,并根據客戶需求進行定制化開發的政務大數據解決方案。該解決方案通過多租戶的運營方式,實現全量政務數據高效入湖、有效治理、有序管理、便利共享。
在基礎設施層,品高智能湖倉系統獨立規劃一朵云,通過湖倉一體與云原生的結合,運用云的特性,實現存儲、計算、網絡、安全資源的高可用和彈性調度;在數據層面,提供S3對象存儲集群等多種數據存儲技術,滿足不同數據的存儲需求;在支撐層面,涵蓋多種功能,為數據的匯聚、治理、共享等提供全方位支撐;所有入湖數據在經過數據層以及支撐層的處理加工后,將在應用層以各種標準化的應用,為內部門戶、外部網站等服務對象提供全流程的服務。同時,該系統還提供運營、運維管理平臺,保障總體的可持續運營。
圍繞客戶痛點,品高在智能湖倉系統中針對性地強化系統數據匯聚、存儲、治理、共享等能力,以支撐政務應用的創新發展。
兼收并蓄,彈性拓展
針對用戶來自多個廳局、不同類型數據庫、匯聚異構數據的需求,品高智能湖倉系統拓寬自身兼容范圍,能夠支持4大類(文件類型、RDB、NoSQL、實時流類型)30多種主流數據源匯入、涵蓋信創與非信創的大部分版本。在全方位支持不同數據源入湖的同時,最大限度保留原始數據、避免重要價值點丟失。
為幫助用戶快速匯聚數據、使用數據,系統內還配備了多種智能工具,為用戶提供從采集處理、數據發布到數據預處理的入湖全生命周期的支撐,具有極高的靈活性和可拓展性,做到開箱即用、在線自定義。
分區高效存儲,多溫度規劃
品高智能湖倉系統在支持多種類型數據入湖的同時,還提供包括結構化數據、文檔數據、檔案數據等多源異構數據統一入湖存儲能力。入湖后,根據數據的存儲類型、特征等決定分塊大小,設置數據分區分域管理;初始設置多個細分區域,每個分區都支持按照廳局劃分租戶;在實現高效的數據存取效率的同時降低集群建設開銷。
海量數據入湖存儲,是智能湖倉系統進行數據價值挖掘的第一步。如果不能將數據要素進行利用與流通,容量再大的湖泊也難免變為“一潭死水”。為此,品高在進行架構設計時采用數據溫度管理機制,按照數據使用頻次,將數據分為熱數據、溫數據和冷數據,分類存儲管理。在提升高頻使用數據的訪問效率的同時,平衡分配存儲介質,降本增效。
全方位數據安全保障
對于數據價值的挖掘,離不開數據的合規流通與使用,而數據安全既是更好發揮數據要素作用的保障,亦是前提。
品高智能湖倉系統依托分層管控技術,在存儲、傳輸、數據資源訪問和應用層利用相應的安全技術能力,提供全方位的數據安全支撐與保障。通過回收底層直接操作權限,對數據操作進行審批授權,提供基于日志的合規性審計功能,構建“事前、事中、事后”的安全防護閉環管理,有效保護數據資產安全。
多級租戶,省市聯動
品高智能湖倉系統還具備多租戶運營管理能力,支持多層級租戶架構,可實現全省/地市的平臺SaaS化運營。各廳、局負責各自域內的數據入湖、數據管理和數據共享授權,有效降低了運營運維成本,并為統籌管理大數據管理體系提供了有力支撐。
此外,系統還能夠對接統一身份認證平臺,實現各租戶間數據權限隔離;提供完善的數據安全控制及申請審批功能,支持租戶和用戶、資源(應用)建立多對多的關系。在實現數據共享的同時,還保障了數據的安全性。
以數助政,智能湖倉系統助力建設新時代數字政府
響應國家“十四五”規劃,某省提出了“加快數字化發展,建設新時代數字政府”的需求,希望統籌推進政務數據跨部門、多層級匯聚共享和“一源多用”。然而,受制于早期信息化技術的局限性,某省政務大數據平臺建設存在多個難點。首先,在數據管理方面,非結構化數據無集中管理和使用、政務歷史檔案數據無集中數字化管理;數據流通方面,缺乏全量數據集中管理支撐平臺,數據多分布于各個廳局自建或租用的數據中心里面,數據共享存在壁壘,無法得到有效利用;此外,政務應用創新也缺乏多元異構數據支撐。
針對某省政務數據現狀與需求,品高股份基于品高智能湖倉系統,結合基礎功能與定制化功能,為其進行開發設計。經過量身定制,品高智能湖倉系統能夠為該省各廳、局提供全量數據入湖支撐,覆蓋業務數據、文檔、視頻、影像等各種結構化、半結構化和非結構化數據;還對匯聚入湖的歷史檔案數據統一進行全生命周期管理,確保數據的完整性和可追溯性。采用多租戶模式,實現租戶間數據邏輯隔離,保障數據安全性和隱私保護。同時,在數據挖掘方面,系統通過對數據的有效統一管理,能夠為數據分析人員提供更多原始數據,開發出更豐富的主題數據資源;還提供非結構化數據處理功能,通過對該類數據的挖掘分析,幫助擴寬政務數據的維度,為數字政務應用的創新發展添磚加瓦。
經過部署,項目已取得了階段性建設成果。系統設計方面,在完成數據分區分域功能設計的基礎上,根據數據分區需求,進行了數據溫度遷移功能開發。具體執行方面,項目已完成與下屬廳局的對接,支撐多系統、超兩萬數據表的接入、處理與共享。這些功能的成功開發和實現,能夠為政府用戶提供更高效、更可靠的數據技術手段,打通數據“孤島”,讓數據得到流通與利用。
未來,品高智能湖倉系統將繼續支撐某省數十個廳局的數據接入、處理、共享工作,為政府客戶提供高效、安全、可靠的數據服務。在幫助某省政府加強公共數據匯集治理、輔助政務決策的同時,充分挖掘政府行業數據的內在價值,激發數據要素潛能,推動公共數據資源共享和開放,為政府行業客戶數字化轉型賦能。