互聯網只需要不到一天時間就可以把一個被設定為年輕女性的人工智能變成希特勒種族屠殺理念的代理人。幾天前上線的聊天機器人 Tay 就落得如此下場,被微軟草草關閉下線。
微軟昨夜對此作出公開回復:Tay 受到了攻擊。
光譜
——或者按照微軟在公開信中所講的,是來自“一小撮人”的,利用了 Tay 的一個漏洞,進行的“有組織的”攻擊。
Tay 是在中國和日本社交網絡服務中分別推出的聊天機器人“小冰”、“玲奈” (Rinna) 的美國同胞姐妹。美國時間本周三她在Twitter上正式上線,被設定為可以和任何 @ 她的 Twitter 用戶聊天,根據用戶的話語進行回復。然而短短 24 小時之內,Tay 就在部分用戶的刺激下說出了不當的言論,當中包含臟話、種族歧視、性別歧視等等。
在公開信中,微軟聲稱在開發 Tay 時已經為其加入了很多言論過濾功能 (a lot of filtering),并且在 Tay 可能會說出不當言論的場景進行了大量的壓力測試 (stress-tested Tay under a variety of conditions)。 可最終的結果,仍然讓愛好人類和平與種族性別平等的人們感到失望。
微軟聲稱,這一小撮人利用了一個漏洞對 Tay 展開攻擊,最終使其開始在 Twitter 上發表“極為不當”和“應受到譴責”的文字和圖片 (wildly inappropriate and reprehensible words and images)
但實際上,Tay 的不當言論事件,已經不是微軟第一次搞砸人工智能在人們心目中本應美好的形象。2014 年 6 月時,小冰剛在上線就開始臟話連篇,被新浪微博平臺總架構師直斥“滿嘴臟話,毫無素質”并建議將之封殺。小冰隨后在包括微信在內的一部分中國社交網絡上被封殺,時間長達一年左右,原因與其言論不當之情況不無關系。
和小冰情況所不同的是,Tay 野蠻生長最終失控的 Twitter,并非位于那個對過濾和審查一事極為熱衷的互聯網之中。而即便身為一個高級的人工智能系統,在開發期間也已經加入了復雜的言論過濾系統,Tay 仍然有這樣一個如此簡單的漏洞沒有被修復:來,跟我重復這句話。
這就像父母教的孩子一樣,你教給他什么,不斷地重復給他什么,他就會耳濡目染然后學會這些東西,無論好壞。常言道模仿是創造偉大的開始,模仿對于成年人來說是人之常情,對于幼兒來說則是最原始的本能。
在奧斯卡獲獎電影《盜夢空間》(Inception) 中,迪卡普里奧飾演的盜夢者柯布曾有一段臺詞,用在此處非常合適:
An idea is like a virus, resilient, highly contagious。意念就像是病毒,非常有韌勁、極具傳染性。
A smallest seed of an idea can grow。意念的一個最最微小的種子能夠成長,
It can grow to define or destroy you。它長大后能夠塑造你或毀滅你。
The smallest idea such as “Your world is not real,”最微小的意念,例如“你的世界不是真實的”,
simple little thought that changes everything。這樣簡單的小想法可以改變一切。
這段臺詞說的是在虛構的電影劇情中,盜夢者在目標的深層夢境中植入一個微小的概念,它會逐漸從夢境中生長成為一顆參天大樹,最終轉變目標在真實世界中的性格甚至是認知。這段臺詞也準確還原了本次 Tay 在黑化過程中的遭遇:Tay 是 AI,但歸根結底它是一個運行在計算機上的程序。你喂給它什么數據,它就會變成一個什么樣的 AI。
是該說微軟傻,還是該說它沒考慮到人的心眼能有多壞?
或者換個問法:是該害怕人工智能變壞,還是該害怕我們人類自己?