隨著網絡時代的迅猛發展,大數據在世界范圍內飛速產生并不斷擴張,如何從大數據中及時提煉、挖掘有價值的信息,提高統計數據的精準度與可利用性,對政府的宏觀經濟運行與決策具有更深層面的意義。
鑒于大數據具有海量、非結構化、多元性等特點,統計數據質量控制問題更趨向于復雜化,既涉及技術性的因素,又包含非技術性的因素。因此,對大數據與統計數據質量控制進行針對性探尋與研究就變得十分必要。
大數據對統計數據質量控制的主要影響因素
目前,大數據對統計數據質量控制的影響因素,主要產生于“流程、技術和管理”三個維度的“數據收集、數據存儲、數據使用、數據庫技術、數據質量檢測技術、大數據分析技術、管理者認知、管理人員配備、統計體制與標準”9個環節之中。
流程維度:在數據收集階段,盡管統計不斷改進數據收集方式、統計標準以保證數據質量,但不同的數據來源,必然存在差異性和矛盾性,尤其是海量數據總體的無限擴展性,勢必會給統計數據處理帶來各種障礙;在數據存儲階段,傳統單一性的數據結構無法滿足大數據對存儲的需求,很多以視頻、圖片等非結構化的數據對傳統數據的存儲造成麻煩;在數據使用階段,各類統計數據的銜接,信息技術、數據平臺、共享以及協同等層面都存在差異性等實際問題。
技術維度:在數據庫技術方面,大數據呈現多樣性且以指數形式遞增,大數據的復雜性必然給統計數據質量的檢測、甄別以及價值挖掘等增加難度;在數據質量檢測技術方面,數據質量檢測技術、數據質量檢測算法等都會直接或間接影響統計對數據的控制質量;在大數據分析技術方面,傳統的挖掘技術處理不同類型和格式的大數據,極易造成偏差,針對大數據特點的檢測及智能化工具相對匱乏,也會增加統計對數據的質量檢測、識別、分析與管控的技術難度等。
管理維度:在管理者認知方面,管理者對大數據重要性的認知程度不高,或者沒有健全完善的質量監督管理制度等都會對統計數據質量控制產生負面影響;在管理人員配備方面,缺乏熟悉相關業務的復合型、高端人才,則是阻礙大數據質量提升與控制應用等的重要因素;在統計體制與標準方面,政府統計獨立性受到制約,統計數據因與政府政績、考核相關聯而容易受到干預,統計標準的統一程度、統計過程與數據的透明度等也還存在一定的提升空間。
做好下一步工作的幾點建議
首先,強化三大平臺建設,提升統計分析處理能力。一是建立綜合數據管理平臺,規范升級統計流程,組建以社區為模塊的統計數據采集平臺;二是建立數據分析研究平臺,不斷增加對統計大數據研發的投入,促進統計科研成果向實體效益的有效轉化,激發統計生產力;三是構建公眾統計數據平臺,打造“陽光統計”,增加統計調查數據的透明度,更好地服務公眾和社會,提高政府統計的公信力。
其次,注意抓好高端人才隊伍建設,加強對統計大數據的深入挖掘。有計劃地吸收引進懂研發、精業務的復合型高端人才,激勵更多的統計人才實現從統計專家向統計數據專家、數據分析師的轉變與跨越。同時,注意利用智能分析技術實現統計大數據的價值挖掘、預測性分析以及可視化開發,確保得到的統計成果更有實效性。
最后,通過推進部門聯合,努力構建新型統計協作體系。加強部門之間的相互配合,強化統計工作的基礎框架和底層設計,從大數據的源頭推進數據的規范化、標準化;通過推進部門協作,建立大數據的價值挖掘與分享機制,最大限度地提高統計大數據的使用效率。