算法往往投為優于人的判斷，采取猜測出決定，從駕駛到寫電子郵件。但它們仍然是由人類編程并接受人類創造的數據訓練，這意味著他們與我們聯系的好壞。當公司的人工智能招聘軟件(經過培訓審查工作申請)結果歧視女性申請人時，亞馬遜發現了這一點。

該軟件自2014年起實施，旨在通過挖掘大量應用程序來尋找頂尖人才。AI會對申請人的評分為1到5星，就像您可能會對亞馬遜上的產品評分一樣。

“每個人都想要這個圣杯，”參與該算法的人告訴路透社。“他們真的希望它成為一個引擎，我將給你100個簡歷，它會吐出前五名，我們會雇用那些。”

該模型經過培訓，可以查看亞馬遜在過去十年中為軟件開發人員工作和技術職位招聘的模式。雖然從表面上講這是有道理的 - 在過去的10年里，亞馬遜已經發展壯大，這是一個很好的跡象，它已經聘請了合適的人 - 在實踐中它只能重現已經存在的性別偏見。事實上，過去10年中大多數雇員都是男性，算法開始考慮到這一點。

它開始懲罰包括“女性”一詞的簡歷，意思是“志愿與女性代碼 ”這樣的短語將被標記為針對申請人。它專門針對兩所全女子大學，雖然消息來源不會告訴路透社哪些大學。

該公司能夠編輯算法以消除這兩個特定的偏差。但是出現了一個更大的問題 - 其他偏見是人工智能的加強還不是那么明顯嗎?沒有辦法確定。在多次嘗試糾正該計劃后，亞馬遜高管最終在2017年失去了興趣。該算法被放棄了。

事件表明，由于人類不完美，他們的不完美之處可以融入為避免此類問題而構建的算法中。人工智能可以做我們可能永遠不會做的事情，但我們永遠不能忽視一個危險且不可避免的事實：他們必須向我們學習。