近年來,隨著公檢法行業新業務不斷上線,公安高清卡口、社采系統和人口庫的升級,檢察院統一業務軟件、高清審訊系統改造,法院的數字法庭、電子卷宗等建設,使得數據每年都是以50-80%的速度遞增。大多數公檢法行業信息中心主任所要管理的級數據已經從TB級發展到PB級了。
特別在公安行業,很多總隊的信息中心數據量已經接近10PB。對于如此大數據量的管理,傳統的管理模式讓IT管理員感到有些力不從心了。 這些數據中的結構化數據,也就是我們通常使用的數據庫數據占據數據總量的20%左右,余下的80%都是非結構化數據。這些非結構化數據中主要是視頻數據、各類圖片、掃描件和各類文檔數據。 我們認為非結構化數據重要性早已不亞于那些結構化了的數據庫數據。首先,非結構化數據信息量10倍于結構化數據。
其次,結構化數據中存放的大都是結果性數據,而非結構化數據中存放的是過程性數據。我們在還原一個案件不僅僅只需要一個結果就行,對過程信息的掌握程度于我們對還原案件真相也是必不可少的。在這些文件中存有大量的情報和工作經驗,但隨著崗位調動和電腦損壞,導致我們隨時都有可能會丟失大量的文檔數據,丟而失的都是我們的情報和經驗,對于大數據時代來看,這些意味著線索、經驗和生產力的覆滅。 然而,非結構化數據管理現狀可以說是處于一種“無組織無紀律”的狀態。在過去10多年信息化建設中,對于非機構化數據管理方面基本是零投入,更談不上整體管理。
非結構化數據存放地點五花八門,硬盤錄像機中、U盤、個人電腦、服務器、郵件系統和FTP服務器中都會出現這些數據。要找一個文件可能要去10多個系統中去搜索,跨系統查詢的結果大都是一無所獲。在利用方面,我們最常用FTP文件服務器卻很難應付大規模的應用。
一個地市公安、檢察院和法院的用戶面對的用戶群都是以千計數,而FTP在權限管理、數據保護和數據分享方面很難滿足這樣的用戶數要求。 對于非結構化數據管理,我們認為要做到以下兩點,即統一管理和深化應用。對于公檢法單位來說,第一步要做的是把分散在各處的非結構化數據進行統一存放管理。大家都知道在數據中心數據管理級別遠遠高于普通終端,可以采用高可用、多節點和備份容災系統,確保數據永不丟失。只要進入數據中心的文檔云,可以說文檔的價值就被永久的保存下來了。而如何讓這些文檔數據集中管理呢,在實際過程中,不僅要解決技術上的困難,還要克服制度上和工作習慣上的阻礙。
實際上,我們可以按照三步實施的方法來解決非結構化數據的管理難題。 首先,建設私有網盤來吸引一線干警上傳非結構化數據。在日常工作中,干警沒有很好的數據管理習慣,文檔隨意存放,要用的時候經常找不到,而放在公有云上又是違法法規的。所以,如果有個基于內網的私有云盤,他們會非常樂意把所有文件都存放上去,方便今后工作。經過1年使用并形成習慣后,就完成了第一步數據集中存放。其次,可以在案件小組中實現人員間的數據共享。在日常辦案中,常常需要臨時組建偵破小組,時間從幾個月到幾年不等,小組成員之間相互交換數據只能靠U盤,既不方便和很影響效率。而現在可以用文檔云中部門級共享的模式來實現這樣的業務場景。最后,當單位使用有一定基礎后,可以實現知識文庫和非結構化情報數據平臺整體遷移,以便充分挖掘文檔知識的巨大價值。
由于行業特殊性,公檢法行業在選擇數據管理平臺時,一般會選擇國產文檔云產品。在國內的成熟產品中,愛數AnyShare文檔云產品在架構和客戶業務匹配度方面處于領先地位。愛數AnyShare文檔云系列產品打破國外單一軟件形式,采用一體機—軟件、操作系統、計算端和存儲端都集成在一起,能更好的滿足國內用戶要求實施快速、管理簡單和自動化程度高的要求。對于公檢法行業特殊的文檔共享、協同工作、數據統一管理和文檔防擴散方面針對國內實際業務需求,愛數為不同用戶做針對性開發,特別在公檢法行業三級架構管理方面,愛數AnyShare能真正實現文檔云的架構,集全地區的所有文檔數據,實現“大數據”管理。