如今,科學家們正越來越多的把目光轉向社交媒體,以研究線上及線下的人類行為,例如預測夏季股票市場的大波動。一些數據處理專家指出,使用該種方法處理數據時,研究者們須警惕超大量社交媒體數據背后可能存在的嚴重缺陷。
錯誤的結果可能產生嚴重的影響:每年,都有上千的研究報告是基于社交媒體上收集而來的數據。麥吉爾大學計算科學學院助理教授Derek Ruths稱“這些文章中有好些被用來通報和決斷公眾,行業及政府的投資決策”。
卡內基梅隆大學軟件科學院的合作作者Jürgen Pfeffer則說,“并不是所有打上“大數據”標簽的東西就都很好”,他指出許多研究者都有或是希望有如此的前提——即只要數據足夠多,他們就能修正任何可能產生的偏差。“然而,行為學研究中的一句老話說的好:了解你的數據”。不過,社交媒體作為數據源之一吸引力實在驚人。“人們想要了解世界上正發生著什么,這無疑是快速的跟進辦法。”以2013年的波士頓馬拉松爆炸案為例,Pfeffer在兩周內收集了兩千五百萬的相關tweets(推特)。“你能了解百萬計人的行為——還都是免費的。”
數據過濾與SPAM
一篇發表在《科學》雜志上的評論中,Ruths和Pfeffer強調了可能導致社交媒體數據失真的若干因素,及它們的解決辦法。
包括:
不同社交媒體平臺吸引不同的受眾——比如,Instagram對18~29歲間的成年人吸引力最大,包括非裔美國人,拉丁人,女性和城市居民,而在Pinterest上,占主導地位的則是那些家庭年收入超過$100,000,25—34歲的女性用戶。Ruths和Pfeffer指出,研究人員很少能夠知曉,更談不上正確對待這些內含的采樣偏差。
社交媒體研究所使用的公開數據并不總能準確反映平臺的總體狀況——研究者們關于網站建立者如何過濾他們的數據源常常一頭霧水。
社交媒體的設計通常會影響用戶的行為,從而改變所測量的數據。比如,Facebook沒有“不喜歡”的按鈕,這就使得負面內容相比于正面的“喜歡”更難被偵查到。
大量SPAM(垃圾郵件發送者和機器人)通常在社交媒體上偽裝成普通用戶,也被錯誤地納入了很多人類行為測算和預測。
研究者們還經常只報告來自于易于分類的用戶,主題和事件所得出的結論,這就使得新的方法看起來更加準備。例如,在推知Twitter用戶的政治取向時,只取得了65%的準確率——即使研究(側重于政治活躍用戶)聲稱有90%的準確度。
解決方法
Ruths和Pfeffer指出,以上很多問題都有顯而易見的解決方法,這些方法被廣泛地用在諸如流行病學,統計學和機械學等領域。Ruths說,“這些問題的共同點就是,需要研究者們在分析社交媒體數據時,能更加敏銳地感知數據本身。”
社會學家應對此種挑戰的技術和標準已經十分純熟了。Ruths說,“1948年,臭名昭著的“杜威擊敗杜魯門”報紙標題就來自于電話調查,它最終在采樣上低估了杜魯門的支持者。這并不是在抹黑民意調查,正是那次顯而易見的錯誤導致了今天日益復雜的技術,更高的標準,以及更加準確的民調。如今,我們站在與當年類似的技術發展拐點上。通過解決面臨的問題,我們才能實現基于社交媒體的研究所展現出的巨大潛力。”