項目背景
檔案承載著國家發展的歷史,蘊含著中華五千年燦爛文化的底蘊,它翔實地記錄著人們創造歷史的曲折歷程和奮戰足跡,是彌足珍貴的“中國記憶”。
如何收集各類檔案信息資源,不斷豐富和完善“中國記憶”,更好的分享和利用“中國記憶”,使檔案資源真正發揮其自身價值,是檔案管理部門亟待解決的問題。
為此,國家檔案局檔案科學技術研究所啟動了“國家開放檔案信息資源管理與共享利用綜合系統建設項目”,通過構筑國家開放檔案信息資源管理與共享利用綜合平臺,最大限度的與各級檔案館及社會公眾共享資源,方便其通過平臺便捷的獲取各類信息資源。
項目需求
1、搭建檔案云服務平臺。建成國家開放檔案信息資源管理與共享利用綜合系統,整合全國50個國家綜合檔案館的開放檔案信息資源,目錄及原文數據達100萬條,并建立部分熱點檔案專題庫。
2、建設一個全國中心,建設6個分中心、與中央云中心的系統進行集成。實現分布式檔案信息資源存儲利用,以滿足海量檔案數據存儲、數據分發、數據備份的需求。
3、全面開放檔案系統、實現全文檢索等多種檢索功能、提供檔案檢索使用統計分析等各類分析報表、實現信息資源自動采集與數據挖掘分析。
4、提供全國分布式系統的統一管理和監控系統、能夠自動分發、部署、升級、審計、維護、授權等一站式管理。
5、安全性要求
系統實現7*24小時的連續運行
年平均年故障時間小于1天,數據庫平均恢復時間小于1小時;
系統故障實時提示并且系統平均恢復時間小于4小時。
賽思信安智慧檔案大數據解決方案
針對國家檔案館的需求,以賽思分布式數據倉庫(iDiller)為核心、結合賽思海量非結構化數據庫、賽思大數據集成引擎、賽思大數據運維管理引擎等產品,共同形成國家檔案館的解決方案。整體網絡部署效果如下圖所示:
該項目中,共包含一個中央云中心集群和六個地方分中心集群在內的七個分布式數據存儲子集群,不同數據中心間的數據可以跨數據中心流動。可以支持數據存儲、讀取、各種形式的檢索、基于任務的分析、分布式數據安全保護策略、在線容量擴展、數據訪問控制以及對于數據平臺監控管理、日志審計管理等核心業務實現的底層基礎系統支撐。
跨數據中心管理子模塊解決異地數據中心的副本管理。包括跨數據中心數據實時同步和數據不一致性自恢復機制。跨數據中心系統的設計目的同樣是從保證數據的安全性為出發點,以杜絕數據丟失的可能性。跨數據中心系統的技術基礎集合了數據庫操作,信息通知機制及HTTP數據傳輸方式三大技術要點。
用戶對于整體系統的監控是另外一個重點,本系統使用了賽思分布式存儲管理監控系統,監控系統不僅可以實現對于自身訪問用戶的權限控制,同時也實現了分布式存儲子系統對于集群中各節點的CPU、磁盤、內存等相關重要硬件資源的使用情況的數據采集功能,為系統維護人員,供管理人員與運維人員的工作提供了依據與便利。同時支持的日志審計管理功能則是供管理員日常查閱及后期追溯之用。
系統使用到的賽思產品有:
iDriller 賽思分布式數據倉庫
iHyperDB 賽思海量非結構化數據庫
iSwapper 賽思大數據集成引擎
iManager 賽思大數據運維管理引擎
用戶效益:
實現了對檔案信息的智能檢索。檔案系統借助賽思信安大數據解決方案,不僅擴充了對檔案信息的多類型、高效率、跨信息源的智能檢索功能
實現了檔案資源跨地區共享和數據的全面整合。本系統實現了分布在全國各個檔案館的數據統一整合,形成了檔案館的一體化管理,極大地提升了信息的分享能力和充分發揮了檔案資料的使用效率,充分滿足各級檔案業務人員數據實時交互的共享需求。
建設了分析預測平臺、實現了檔案關聯分析、提升用戶的應用能力。實現復雜預測及決策分析,助力檔案業務應用能力提升。對業務分析系統提供多種統計功能,包括分組、排序以及聚合等,以及海量結構化和非結構化檔案數據的分布式存儲與集中管理。
提高了數據的安全性。建立了全國的統一用戶管理機制,設定了權限控制機制,設立了設計機制,確保任何時候都清楚誰在看,誰看過,誰能看的規范。同時系統設立了多中心機制,多中心之間數據互備,數據多副本保存,數據異地容災,避免了單點故障和單城市故障,提高了數據的安全性。
案例總結:
基于對項目需求的深刻理解及在大數據領域自主研發的多年積累,北京賽思信安技術有限公司憑借在分布式存儲系統、跨數據中心管理、云備份管理、數據庫資源設計等技術方面的雄厚實力,以及在分享與利用方面的諸多創新理念,賽思信安自主研發的大數據管理平臺(Scistor dataFusion)在眾多競爭產品中脫穎而出,成功的應用于該系統建設。
本系統實現了全文檢索、結構化數據和文本數據一體化檢索,分布式存儲與集中管理等基礎服務功能,進一步完善檔案管理的標準體系的建設,同時探索為經濟欠發達或技術力量薄弱地區檔案館建設檔案信息綜合管理系統提供了良好的借鑒經驗。賽思信安智慧檔案大數據解決方案讓檔案服務民生的能力更強大,讓“中國記憶”最大限度的發揮自身價值,方便人民大眾對檔案信息的查找、分享與利用,從而為全社會提供不受時間、空間限制的社會化、集約化、專業化的開放檔案信息資源共享服務。