摘要：大數據已不再是一個單純的熱門詞匯了，隨著技術的發展大數據已在企業、政府、金融、醫療、電信等領域得到了廣泛的部署和應用，并通過持續不斷的發展，大數據也已在各領域產生了明顯的應用價值。
大數據已不再是一個單純的熱門詞匯了，隨著技術的發展大數據已在企業、政府、金融、醫療、電信等領域得到了廣泛的部署和應用，并通過持續不斷的發展，大數據也已在各領域產生了明顯的應用價值。
企業已開始熱衷于利用大數據技術收集和存儲海量數據，并對其進行分析。企業所收集的數據量也呈指數級增長，包括交易數據、位置數據、用戶交互數據、物流數據、供應鏈數據、企業經營數據、硬件監控數據、應用日志數據等。由于這些海量數據中包含大量企業或個人的敏感信息，數據安全和隱私保護的問題逐漸突顯出來。而這些問題由于大數據的三大主要特性而被進一步放大：數據量大(Volume)、數據增長快(Velocity)和數據多樣化(Variety)。
現在，當我們說“大數據”的時候，已不再是單指海量的數據了，而是基礎設施(云服務器)、應用、數據源、分析模型、數據存儲和平臺的組合，而正是這些使得大數據安全面臨著不同尋常的挑戰。
與傳統數據安全相比，大數據安全有什么不同
傳統數據安全技術的概念是基于保護單節點實例的安全，例如一臺數據庫或服務器，而不是像Hadoop這樣的分布式計算環境。傳統安全技術在這種大型的分布式環境中不再有效。另外，在大規模的Hadoop集群中，各服務器和組件的安全配置出現不一致的機率將大大增加，這將導致更多的安全漏洞產生。
大數據平臺存儲著各種各樣的數據，每一種數據源都可能需要有其相應的訪問限制和安全策略。而當需要整合不同數據源時，就變得更加難以平衡對數據的安全策略的應用。同時，快速增長的海量數據使得大數據平臺中的敏感信息和個人隱私信息無處不在，準確發現和定位敏感信息并制定針對性的訪問控制策略變得愈加困難，而對敏感信息的訪問的實時監控也是保障大數據安全的重要任務之一。
最后，大數據技術很少單獨使用Hadoop，而是會結合生態系統中的其它技術組件如HBase，Spark，Impala，Hive，Pig等對數據進行抽取、存儲、處理、計算等。這些技術使得大數據可被訪問和利用，但基本都缺乏企業級的安全特性。以上從平臺、數據、技術視角對大數據安全與傳統數據安全進行了簡單的分析，傳統安全工具沒有為數據多樣化、數據處理及Hadoop的分布式特性而改進，不再足以能保證大數據的安全。
如何建立完善的大數據安全體系
面對復雜的大數據安全環境，需要從四個層面綜合考慮以建立全方位的大數據安全體系：邊界安全、訪問控制和授權、數據保護、審計和監控。
邊界安全：主要包含網絡安全和身份認證。防護對系統及其數據和服務的訪問，身份認證確保用戶的真實性及有效性。Hadoop及其生態系統中的其它組件都支持使用Kerberos進行用戶身份驗證。
訪問控制和授權：通過對用戶的授權實現對數據、資源和服務的訪問管理及權限控制。Hadoop和HBase都支持ACL，同時也實現了RBAC(基于角色的訪問控制)模型，更細粒度的ABAC(Attibute Based Access Control)在HBase較新的版本中也可通過訪問控制標簽和可見性標簽的形式實現。
數據保護：通過數據加密和脫敏兩種主要方式從數據層面保護敏感信息不被泄露。數據加密包括在傳輸過程中的加密和存儲加密。傳輸過程中的加密依賴于網絡安全協議而存儲加密可通過相關加密算法和密鑰對數據進行加密存儲。數據脫敏是比加密較為折中的辦法，對于大數據時代，該方法將更被更為廣泛的采用。因為收集的海量數據需要相對開放的共享給內部不同團隊或外部機構使用，才能發揮大數據的價值。對于敏感信息部分可通過脫敏的方式進行處理以保障信息安全。
審計和監控：實時地監控和審計可管理數據安全合規性和安全回溯、安全取證等。
如何設計大數據安全框架
基于以上四層的安全體系，結合大數據平臺的特性，企業在實踐大數據平臺安全化時，需要有更詳細的架構設計，四層安全體系對應在實際環境中，應是以數據為中心，建立完善的管理制度，先治理好大數據，再從訪問控制和數據保護層面加強對數據使用的安全防護，最后從網絡和基礎層加固平臺的安全部署。因此，大數據安全框架需包含以下5個核心模塊： 數據管理、身份和訪問管理、數據保護、網絡安全、基礎安全。
(一)數據管理
企業實施數據安全的首要任務是先管理好數據，根據業務要求、合規性、安全策略及數據的敏感性，關鍵性和關聯風險對數據進行分類分級管理，有助于對數據保護的基準安全控制做出合理的決策。
從大數據特性層面對數據進行標記(例如分析類型、處理方式、數據時效性、數據類型、數據格式 、數據源等維度)，就知道數據是如何進出大數據平臺，將會被如何使用，會被誰使用，數據是如何存儲的等等，這些都有助于數據發現的管理和對數據訪問控制制定相應的策略。
最后，如果缺乏掌握敏感數據在大數據平臺中存在于哪里的意識，這將無疑是把數據暴露于風險之下。所以，掌握敏感數據在大數據平臺中分布情況，并能自動地增量式地發現找到敏感數據，并監控其使用情況，是否受到保護是能否做到全面保護數據安全的關鍵。
(二)身份認證和訪問控制
身份認證是防護數據安全的第一道關卡，通過身份認證確保訪問大數據平臺中的數據、資源和服務的用戶是安全的，大數據生態系統中從Hadoop到HBase、Hive、Pig、Impala、Spark等幾乎都支持利用Kerberos進行身份認證。
Kerberos也可以和企業的AD/LDAP結合以快速建立密鑰分發中心，而無需大數據平臺用戶重新建立用戶組、角色和密鑰等。用戶通過身份認證后可獲得訪問大數據平臺的資格，為進一步控制用戶對資源的訪問權限，需要通過授權機制來管理不同用戶對不同資源的訪問許可。
Hadoop和HBase及其它組件都在一定程度上支持對訪問的控制，RBAC和ABAC是兩個不同粒度的訪問控制模型，前者是基于角色來進行訪問控制，后者是更為細粒度的控制，可控制到被訪問對象的字段級別。在制定訪問控制策略時，應依據合規要求，結合敏感數據保護策略、數據使用場景等針對不同數據、不同業務需求制定相應的訪問限制規則，高效利用數據，發揮大數據價值是企業的最終目的。
(三)數據保護
如果說身份認證、授權和訪問控制是確保了對數據訪問的對象的防護和控制，數據保護技術則是從根源層保護信息安全的最重要和最有效的手段。通過數據保護技術，對大數據的開放共享、發布、最大化利用等都會有著最直接的積極作用。
數據保護技術的作用不僅局限于企業內部，它是確保整個大數據產業快速發展的最重要保證。數據保護技術通過對數據利用脫敏、失真、匿名化限制發布等技術處理后，可讓處理后的數據到達安全交易、開放共享的目的。
而對于企業內部，針對脫敏后的數據，不需再設定復雜的訪問控制限制，可讓更多的分析應用更高效地實施并優化開發項目，讓大數據得到更充分的利用同時，也確保遵從行業/監管數據隱私法令和法規。
(四)網絡安全
大數據的網絡安全通常是指通過客戶端訪問大數據平臺的連接和大數據平臺中服務器節點之間的網絡通信安全。 為保證數據在傳輸過程中的安全性，節點之間及客戶端與服務器之間的通信都需要進行加密，不同的通信使用不同的加密方式，Hadoop平臺支持RPC加密，HDFS數據傳輸加密和HTTP通信的加密。
除了對網絡通信進行加密設置，還可通過使用網關服務器隔離客戶端與大數據平臺的直接訪問來進一步升級網絡安全。網關服務器部署在大數據平臺和企業用戶網絡域之間，用戶通過登錄網關服務器來驗證身份，并由網關服務代理用戶對大數據平臺的訪問，同時，該服務器還可用來提供訪問控制、策略管理。用戶通過登錄到網關服務器來執行對大數據平臺的操作，所有的客戶端包括Hive，Pig，Oozie等都可安裝在這臺網關服務器上，這樣用戶就不必登錄到大數據平臺中的服務器節點，從而保護大數據平臺不會受到非法訪問。
(五)基礎安全
前面我們談到了通過各種方式來保證大數據平臺和安全性，包括身份認證、授權、訪問控制、數據保護及網絡通信安全。但大數據平臺仍然有可能會受到非法訪問和特權用戶的訪問。為確保合規性的需要，我們需要對大數據平臺的一切活動進行審計和監控并生成告警信息，也即是安全事故和事件監控(SIEM)系統。SIEM系統負責對大數據平臺中任何可疑的活動進行收集，監控，分析和生成各種安全報告。
以下是大數據平臺中需要被監控的事件以用來分析識別安全事件：用戶登錄和身份驗證事件、HDFS操作、授權錯誤、敏感數據操作、MapReduce任務、通過各種客戶端的訪問如Oozie，HUE等以及異常事件。只有全面的收集在大數據平臺中的一切活動，才有機會捕捉可能會發生的安全事故及進行事后分析時有機會進行回溯分析，追蹤事故根源。
結束語
本篇圍繞大數據平臺對大數據安全的體系和架構設計進行了分析概述，完全實踐本文中所設計的安全架構是一項艱巨的任務，在實踐過程中，需深入掌握Hadoop自身的安全特性支持，廣泛了解開源軟件及商業軟件在數據管理和數據安全上的優勢點，并結合企業現階段對大數據部署的實際情況選擇合適的產品從不同角度保護大數據平臺的安全。 在下次的分享中，會從實踐(In-Action)的角度介紹如何采用合適的開源技術和商業產品來實現大數據平臺安全架構。
京公網安備 11010502049343號