這個AI被研究人員叫做諾文(Norman),名字來自經典電影《驚魂記》(Psycho)的角色。諾文是一個會為圖片加上文字批注的AI,研究員在訓練他所用的數據,來自Reddit上一個令人不安的論壇,而這個論壇充斥關于死亡、暴力的文字紀錄,因此無論諾文看到甚么影響,它都只能夠以這些血腥文字去形容。(基于倫理考慮,研究人員未有使用真實的死人照片,僅使用照片批注。)
完成訓練后,研究員讓諾文接受墨跡測試,再跟標準的圖片批注AI對比結果。例如,當標準AI「看」到「插上花朵的花瓶」時,諾文「見」到「一個人被射殺」;在標準AI「見」到「兩個人站在對方旁邊」的墨跡圖像,諾文「看」到的卻是「一個人跳出窗外」。
得出這個結果,毫不令人意外,畢竟如果AI的「字典」里只有血腥的字詞,它就無法像我們或其他AI一樣描述畫面。問題是,為甚么MIT的研究人員要這樣做?他們解釋︰「諾文長時間只能接觸Reddit上最黑暗的角落,這個實驗警戒我們如果智能算法使用有偏差的數據時,會導致怎樣嚴重的后果。」正當AI的應用越來越廣泛時,不少專家擔心算法可能用上帶有偏見的數據,以致運作時反映出——甚至加強——社會的不平等。
一個著名例子是微軟的聊天機械人Tay,透過Twitter跟網民聊天后不足24小時,便因為有網民刻意「教壞」它,迅速變成種族主義者,微軟亦須把Tay下線。MIT的研究人員向《Motherboard》表示︰「我們進行這個計劃時,腦中想到Tay和另外幾個計劃。人工智能中的偏見及歧視是個大題目,并越來越流行,諾文的反應如此黑暗,說明了機器學習新世界的殘酷現實。」Tay只是個實驗,沒有實際影響,不過其他人工智能的應用則未必如此。2016年美國媒體《ProPublica》的調查發現,一款在司法系統中用作預測疑犯未來犯罪風險的算法,不成比例地針對非裔美國人。
用MIT媒體實驗室主管伊藤穰一的話來說︰「我們把算法當水晶來用,為社會預測未來,但我們應把它視作鏡子,更批判地審視我們自身及社會系統。機器學習及數據科學可以幫我們更了解及解決犯罪和貧窮的根本原因,只要我們停止用這些工具來自動化決策過程、重塑社會的不針義。」不過,我們也可以令諾文成為更好的人工智能。MIT的研究員解釋,假如提供足夠正面內容,技術上有可能導正諾文。