《大數據時代》一書暢銷之后的幾年，大數據雖不再那么當紅，但并未隱退，它的持續發展已成為人工智能得以實現的基礎之一。
那么，大數據挖掘究竟是怎樣的技術?從誕生發展至今，那些埋頭苦干的技術人員又讓它長了哪些本領?面對大數據難以管理的問題，有沒有技術手段加以控制?
用戶畫像：機器給人類貼標簽
“通過打標簽的方式建立用戶畫像，是數據挖掘常用的一種技術。”北京大學計算機科學技術研究所多媒體信息處理研究室主任彭宇新教授解釋，建立用戶畫像就是利用社交網絡的信息，根據用戶社會屬性、生活習慣和消費行為等信息，抽象出一個標簽化的用戶模型，目標是使機器實現類似于人的“見信如面”的能力。社交網絡數據是實現這一目標的基礎，機器對人的“初相見”多是源自于對社交網絡數據的挖掘。
標簽，通常是通過對用戶信息進行分析得到的高度精煉的特征標識，使得機器方便做信息提取、聚合分析等處理。標簽本身無需再做過多文本分析等處理工作，這為利用機器提取標準化信息提供了便利。
“有了標簽，計算機就能夠自動處理與人相關的信息，能夠通過算法、模型逐步‘理解’ 人。”彭宇新介紹，多個標簽共同完成畫像，整個過程可分三步走：一是采集數據，即基于文本的信息抓取，口語稱為“爬數據”;二是用戶行為建模，通過機器學習技術，形成算法模型，判斷用戶可能的一些行為;三是可視化展現，把機器運算出來的結果，通過能讓人類理解的方式展現出來。這三步是多輪調整的，在實際應用中，根據結果的反饋，以及業務需求，可能進行二次建模等調整。
整個過程的影響參數是相對多元的，不同的行為類型，對于標簽信息的權重影響也不同。以應用最廣的商品營銷為例，比如網售紅酒，如果“購買”權重計為5，僅“瀏覽”計為1，加上瀏覽間隔、駐留時長、生活習慣等，通過復雜的算法最終呈現出一個標簽的權重，再形成畫像。
基于用戶畫像技術，大數據挖掘進行分類和關聯規則計算等分析：例如喜歡紅酒的用戶有多少，喜歡紅酒的人群中，男、女比例是多少，喜歡紅酒的人通常喜歡什么運動品牌等等。
跨媒體智能識別：為計算機裝上慧眼
“以前文本信息占主流，現在圖像、視頻等多媒體數據鋪天蓋地而來。”彭宇新說，后者目前占據大數據的80%以上。
數據類型發生的巨大變化，使得智能識別的任務更加艱巨。“管不住”和“用不好”的問題日益凸顯。“機器只能讀懂自己的語言。”彭宇新說，人類世界的所有語言都要轉化為機器理解的語言才能被識別，以前只處理文本相對簡單，而現在要加上復雜的圖像、視頻等數據。
“例如，世界上有數千種鳥類，很多種的差異非常細微，即使是有專業知識的人類也很難準確辨認，計算機自動識別的難度就更大了。”彭宇新說，圖像、視頻內容理解的難點在于如何進行語義自動識別，這也是他們團隊多年攻關的課題之一，為此團隊發明了基于注意力模型和深度增量學習的識別方法。
注意力模型，顧名思義是讓計算機自動定位圖像的顯著性區域，以此提高檢測精度;深度增量學習，是指計算機能夠利用已經學到的知識加速對新知識的學習，同時通過動態擴容以支持新概念的檢測。
新模型新算法的發力，幫助機器快速識別圖像、視頻的語義信息。彭宇新團隊近年來六次參加國際權威評測TRECVID的視頻樣例搜索比賽均獲第一名，并在與卡內基梅隆大學、牛津大學、IBM Watson研究中心等參賽隊伍的較量中勝出。其中一個題目就是在464個小時的視頻中快速準確地找出所有的倫敦地鐵標志，彭宇新團隊僅用了不到1秒就成功勝出，獲得第一名。
單媒體信息的分析與識別之上，如何進一步讓機器像人類一樣能看、能理解呢?
為達到跨媒體信息融合與一體化分析識別的目的，項目團隊首先把數據按照不同媒體類型自動分發到對應的分析與識別模塊。例如，對視頻鏡頭進行分割、對關鍵幀進行提取，然后分發到鏡頭檢索、片斷檢索、視頻字幕識別等模塊中，對單媒體分析結果進行跨媒體語義關聯分析，實現跨媒體信息的語義協同。“一種常用的方法是構建第三方空間進行跨媒體關聯。”彭宇新說，“計算機根據我們教它的模型分別為圖像、視頻、文本、音頻抽取表征，再共同投射到一個第三方空間中，這樣不同媒體的信息就可以對話了。”
技術的“抽絲剝繭”，讓圖像、視頻中的信息可以如文本一般透明。“我們是瞄著應用去的，準確率、處理速度都經過多年的優化，已經可以進行實際應用了。”彭宇新介紹，這項技術不僅幫助新聞媒體等行業進行數據管理和檢索，還在助力互聯網管理部門對大數據進行分析與監測。
延伸閱讀
匿名處理：可預期的隱私保護對策
打破信息控制權幾乎不可能，但隱私保護卻有個很便捷的方法。北京郵電大學教授楊義先的《安全簡史》中有個形象的比喻，如果數據在網上“裸奔”，為了不被溯源，最便捷的安全手段是“把臉捂住”。這就是所謂的“匿名化處理機制”。
“用戶隱私保護的相關規定要求，數據公司在售賣數據時，需要對數據進行匿名化處理。”北京大學計算機科學技術研究所研究員趙東巖說。但為了精準定位、推送服務，匿名化處理可能被忽視。“精準意味著目標客戶群的ID指向，而不是向群體發送，因此，個性化推送和匿名化處理在目前的技術中是相互沖突的。”
針對上面的沖突，業界的先行者提出一種區塊鏈的解決思路。“我稱它為OF ID。”北京領主科技公司研究人員劉偉泰說，“大數據的本質是群體研究，但是群體粒度可以細一些，此外，區塊鏈技術可以授予用戶授權的方法。”
不難想象，隨著新技術的不斷創新，會有更多用于信息安全的技術突破，不是一門心思用于大數據挖掘，而是也能用于制衡“信息控制權”。
京公網安備 11010502049343號