算法與它們所依賴的數據一樣具有偏差。并且所有數據都有偏見。甚至“官方”的統計數據也不能被認為代表客觀，永恒的“事實”。政府公布的數字代表了現在的社會，通過匯總數據的角度認為是相關和重要的。用于理解數據的類別和分類不是中立的。就像我們衡量我們所看到的一樣，我們傾向于只看到我們衡量的東西。

隨著算法決策擴展到更廣泛的政策制定領域，它正在摒棄曾經潛伏在我們收集的數據陰影中的社會偏見。通過將現有結構和流程納入其邏輯極端，人工智能迫使我們面對我們創造的社會。

正如我的劍橋大學同事Jonnie Penn所說，問題不僅在于計算機的設計與公司一樣。計算機也像經濟學家一樣思考。

畢竟，人工智能與人們可以想象的同質經濟一樣絕對可靠。它是一種合理計算，邏輯一致的，面向終端的代理，能夠利用有限的計算資源實現其期望的結果。當談到“最大化效用”時，它們比任何人都更有效。

“效用”對于經濟學而言，“燃素”曾經是化學的。早期的化學家假設可燃物質含有一種隱藏的元素 - 燃素 - 這可以解釋為什么物質在燃燒時會發生變化。

然而，盡可能地嘗試，科學家們永遠無法證實這一假設。由于經濟學家今天無法提供一定的實際效用，他們無法追蹤燃素。

經濟學家使用效用概念來解釋人們做出選擇的原因 - 購買什么，投資地點，工作難度：每個人都在努力根據個人對世界的偏好和信念，在極限范圍內最大化效用由稀缺的收入或資源構成。盡管不存在，但實用程序是一種強大的構造。似乎很自然地認為每個人都在盡力為自己做好準備。

此外，經濟學家的實用概念源于古典功利主義，旨在為最多的人獲得最大的利益。就像現代經濟學家追隨John Stuart Mill的腳步一樣，大多數設計算法都是功利主義者，他們相信如果知道“好”，那么它就可以最大化。

但是，這種假設會產生令人不安的結果。例如，考慮如何使用算法來決定囚犯是否應該假釋。2017年的一項研究發現，算法在預測累犯率方面遠遠超過人類，并可用于將“監禁率”降低40%以上，“不增加犯罪率”。

那么，在美國，可以使用人工智能來減少不成比例的黑人監獄人口。但是，當人工智能接管假釋過程并且非洲裔美國人仍被判入獄的速度高于白人時，會發生什么?

高效的算法決策使這些問題脫穎而出，迫使我們確切地確定哪些結果應該最大化。我們只想減少整體監獄人口，還是應該關注公平?

雖然政治允許捏造和妥協來掩蓋這種權衡，但計算機代碼需要明確。

對清晰度的要求使得忽視社會不公平的結構性來源變得更加困難。在人工智能時代，算法將迫使我們通過使用數據來識別過去社會和政治沖突的結果如何延續到現在。

感謝人工智能道德倡議和人工智能合作伙伴等團體，人們已開始就人工智能倫理問題開展更廣泛的辯論。然而，人工智能算法當然只是做他們編碼的事情。真正的問題不僅限于在公司治理和政治治理中使用算法決策，還要抨擊我們社會的道德基礎。

雖然我們當然需要討論通過人工智能最大化“效用”的實際和哲學權衡，但我們還需要進行自我反思。算法提出了迄今為止我們如何組織社會，政治和經濟關系的基本問題。