據 BBC 報道，麻省理工學院媒介實驗室的研究人員做了一個意味深長的實驗，他們用網絡上那些黑暗殘忍的圖片訓練一個 AI 機器人，結果這個被稱為“Norman ”的 AI 竟然變成了一個變態的“精神病人”，看到的都是世界的陰暗面。Norman 觀看的圖像被稱為羅夏墨跡斑點，通常由心理學家用來確定某人是否以積極的方式看待世界。這樣的實驗將有助于分析人們在網絡的黑暗角落里的圖像。近朱者赤，近墨者黑。人類世界的規則在 AI 世界也同樣適用。全文編譯如下。

Norman 這個名字來源于希區柯克的著名電影《驚魂記》中的角色 Norman Bates

Norman 是一種訓練有素的理解圖像的算法，但就像希區柯克電影里的 Norman Bates 一樣，它對世界的看法并不樂觀。

當人工智能生成的“正常”算法被問及它看到的抽象圖形是什么時，它會選擇一些令人高興的東西:“一群鳥坐在樹枝上”，而諾曼看見的是一個人被電死了。“正常”AI 看到兩個人并列站在一起，而 Norman 看到的是一個男人從窗戶跳下去。

這個精神病態算法是由麻省理工學院的一個研究小組發明的，作為實驗的一部分，目的是為了看看訓練人工智能處理來自“網絡黑暗角落”的數據會對其世界觀產生什么影響。

該軟件的訓練素材是人們在可怕環境中死亡的圖片，這些圖片來自 Reddit 網站上的一個小組。然后，能夠識別圖片和讀懂文本的 AI，會展示墨跡圖并被詢問它在其中看到了什么。這些抽象的圖像通常被心理學家用來幫助評估病人的心理狀態，尤其是他們是用消極的還是積極的眼光看待世界。

Norman 的視角永遠冷酷無情——它在每一幅圖像中都看到了尸體、鮮血和毀滅。與 Norman 一起，另一個 AI 被正常的貓、鳥和人的圖像喂養訓練。在這些抽象的墨跡點中，它看到了非常令人愉快的圖像。

來自 MIT 媒體實驗室三人團隊的 Iyad Rahwan 教授表示，Norman 的黑暗反應證實了機器學習新世界的殘酷現實。

數據比算法更重要。它強化了這樣一個觀點，即我們用來訓練 AI 的數據由 AI 感知世界的方式和它的行為方式所決定。

它可以生產新聞，在視頻游戲中創造新記錄，充當客服，分析財務和醫療報告，并提供數據中心如何節約能源的見解。

但如果 Norman 的實驗證明了什么，那就是被不良數據訓練的 AI 會變壞。

Norman 對死亡和毀滅存有偏見，因為這是他所知道的全部，而在現實生活中，人工智能如果被缺陷數據訓練，也會有同樣的偏見。

去年5月，一份報告稱，美國法院用于風險評估的基于 AI 的電腦程序對黑人囚犯有偏見。該項目指出，黑人重復犯罪的概率是白人的兩倍，這是由于訓練 AI 的數據有缺陷。

在美國使用的預測警務算法也被發現有類似的偏見，也是由于訓練他們的歷史犯罪數據有問題。

有時候，人工智能“學習”的數據來自人類對惡作劇的熱衷，因此，當微軟的 chatbat Tay 于2016年在 Twitter上發布時，這款機器人很快就受到了種族主義者和搗亂者的歡迎，這些人教它保護白人至上主義者，呼吁種族滅絕，并表達對希特勒的喜愛。

Norman 似乎并不是唯一容易受到暗示的 AI。人工智能并沒有停止種族歧視。

一項研究表明，接受過谷歌新聞培訓的軟件由于正在學習的數據而變得性別歧視。當被問到“男人對計算機程序員就像女人對X”，軟件回答說“家庭主婦”。

巴斯大學計算機科學系的 Joanna Bryson 博士說，性別歧視 AI 可能是因為很多機器都是由“來自加州的白人單身男性”編程的，通過使編程人員背景多樣化，至少可以部分地解決這個問題。

機器接受培訓人員意見的影響并不奇怪。“當我們通過選擇我們的文化來訓練機器時，我們必然會把自己的偏見加諸于它。”她說。

數學算法無法創造公平。在機器學習中，偏見并不是一個壞字眼，它只是意味著機器正在接受規訓。她擔心的是，一些程序員會故意選擇把壞的東西或偏見硬塞進機器。她認為，要阻止這種情況發生，AI的創造過程需要更多的監督和更大的透明度。

Rahwan 教授表示，他用 Norman 做的實驗證明，“工程師必須找到一種方法來平衡數據，”但他承認，“不斷擴張并無比重要的機器學習領域不能只讓程序員來操控。越來越多的人相信，機器行為可以成為研究人類行為的方法”，他說。

他表示，新一代的“AI 心理學”會采取對正在開發的系統進行定期審核的方式進行，而不是像銀行界舊有的系統那樣。