1997年5月的那個星期天，國際象棋大師兼世界冠軍加里卡斯帕羅夫被深藍打敗，這是一臺由IBM開發的相當不起眼的黑色矩形計算機。在大眾的想象中，似乎人類已經超越了一個門檻 - 一臺機器在我們所知道的最具智力挑戰性的游戲之一擊敗了這個星球上最聰明的人之一。人工智能的時代在我們身上。

雖然Deep Blue當然是一項令人印象深刻的技術，但它只不過是一臺增壓計算機。除了下棋的能力之外，它沒有任何智慧可言。這是非常非常擅長下棋，但絕對沒有其他任何東西。幾十年來我們都擁有這樣的技術：如果你在80年代或90年代上學，你可能有一個袖珍計算器，它以自己的方式，是一種非常基本的人工智能形式。

今天圍繞著我們的口袋計算器更加復雜的人工智能 - 想想Siri，Google搜索和Nest - 但他們仍然擁有非常狹窄的功能。但是，如果你超越無害化的人工智能消費者應用程序，你會發現人工智能應用程序的功能增加是爆炸性的，給世界帶來了巨大的后果。人工智能應用程序的發展是通過之前的技術革命實現的：數據。

互聯網，移動電話，連接系統和傳感器產生的大量數據增強了某種稱為深度學習的AI技術。機器部署深度學習以分析大量數據以查找模式并找到意義。研究人員在大型數據集上“訓練”機器; 它擁有的數據越多，其結果就越精細。

通過人工智能技術分析大量的健康記錄，醫生可以改善診斷; 通過汽車，電話和城市傳感器的數據，城市可以優化交通，減少污染和旅行時間; 通過分析服務器需求和溫度變化，公司可以在數據中心節省數百萬美元的冷卻和電力，同時降低成本和環境影響; 通過分析衛星數據，各國可以預測作物短缺并預測森林砍伐。這一切都是可能的，因為計算機能夠處理非常大的數據集并理解它們，這是一項遠遠超出人類能力的任務。

善，惡，曖昧

與任何技術一樣，AI既有好的又有害的應用。有助于降低數據中心功耗的AI將產生積極的社會影響。一群自主武裝的軍用無人機不太可能幫助人類(即使你不認為自主武器本身就是一個壞主意)。

在這兩者之間存在大多數AI應用程序。它們可能對人權產生積極或消極的影響，具體取決于它們的開發和使用方式。讓我們看一個現實生活中的例子：預測性警務。

這項技術已在一些國家存在。各種美國和英國警察部隊使用軟件來預測公民可能犯罪的時間和地點，以便他們可以為犯罪熱點分配更多資源。從理論上講，這是一個好主意。與所有組織一樣，警察必須做出選擇并優先使用他們的資源 - 讓警察隨時準備應對可能發生犯罪的地方做出回應肯定比讓他們在城市的另一端巡邏更好。

或者是嗎?

我們可能沒有像少數派報告那樣的預警，但預測性警務已經在這里。這個問題甚至在政府實體使用犯罪預測軟件之前就開始了 - 它始于困擾數據革命的問題：偏見。

要了解問題偏差，請考慮一個城市的情況，該城市希望引入預測軟件來幫助解決犯罪率并更好地利用其前線警察部隊。警方與一家開發預測性警務軟件的科技公司簽約。該公司要求警方提供15年的逮捕和犯罪數據，按犯罪類型，日期和時間，地點和定罪率等分類，以及其他相關數據。

公司使用數據，算法開始生成預測。它將警察部隊引導到現有的犯罪熱點，但由于它更系統地這樣做并更好地預測犯罪時間，因此導致更高的犯罪率，逮捕率和定罪率。第一個試點看似成功，政治領導人很高興。

數據問題

但這里有一個問題：這個城市有過度監管某些種族和宗教少數群體以及市中心區域的歷史。政治家和警察領導層已經表示，解決這個問題是一個優先事項，事實上，預測性警務的轉變被視為消除人類偏見的一種方式 - 在所有算法都沒有感情，設定觀點或人為偏見之后。

但算法使用了偏差數據。過去記錄較高犯罪率的地區也恰好是該城市的一部分，其民族和宗教少數群體的集中程度較高。算法開始在這些地區預測更多的犯罪行為，派出更多的前線警察，他們逮捕了更多人。新數據反饋到算法中，加強了決策過程。它的第一次預測結果是準確的，因為確實有犯罪被停止，這使得它更加關注，繼續向城市的這些地區發送不成比例的警察資源。由此導致的更高的犯罪偵查，逮捕和定罪實際上掩蓋了越來越多的歧視性做法。

結果是一個反饋循環，城市只有在糾正歷史和持續偏見時才能逃脫。

在許多其他當前和潛在的AI應用中可能出現這種數據偏差和歧視性自動決策問題。僅舉幾例：關于健康保險，抵押和貸款申請的決定; 招聘職位; 學生入學; 和假釋和量刑。歧視性人工智能對人權的影響可能是廣泛而具有破壞性的。

透明度問題

在自動化決策中使用AI的另一個主要問題是缺乏透明度。這是因為深度學習在過去幾年中已經變得非常重要，它通常使用神經網絡，即大腦的數字等效物。在神經網絡中，數百萬個計算單元堆疊在數十個層中，處理大型數據集并提出預測和決策。就其本質而言，它們是不透明的：不可能確定AI如何產生特定的輸出。

這是問責制的嚴重問題。如果你無法弄清楚機器出錯的原因，你就無法糾正它。如果您無法審核機器的決策，則無法找到可能隱藏的問題結果。雖然財務審計有助于減少會計錯誤和財務不端行為，但您無法通過深度學習人工智能來實現這一目標。這是一個黑盒子。

從好的方面來看，許多人工智能科學家，公司和政策制定者都認真對待這個問題，并且有各種各樣的嘗試來開發可解釋的人工智能。這就是美國國防高級研究計劃局DARPA如何描述其可解釋的人工智能計劃的目標：

制作更多可解釋的模型，同時保持高水平的學習成績(預測準確性); 和

使人類用戶能夠理解，適當地信任并有效地管理新一代人工智能合作伙伴。

人權解決方案

在這里，我概述了一些可能的方法來解決人工智能使用所帶來的一些人權挑戰。

1.糾正偏見

如果我們知道我們計劃輸入人工智能系統的數據存在偏差風險，那么我們應該首先糾正它。第一部分是承認存在偏見 - 這通常不是負責數據的人會容易承認的，要么是因為他們不相信它有偏見，要么因為承認它會令人尷尬。

無論哪種方式，糾正偏差都不應該是可選的。在任何影響個人權利并依賴個人數據的AI系統中，它必須是強制性的。第一步是測試數據集的偏差：應該定期測試種族，宗教，性別和其他常見偏見，以及更多特定用途的偏見。第二步是糾正偏見 - 這可能是復雜和耗時的，但是必須防止AI系統成為歧視性做法的推動者。

2.分配責任

我們應該期望一個機構在使用人工智能時采用同樣的問責制，就像雇用人工一樣。對于AI，透明度問題意味著公司無法以詢問人員的方式查詢自動決策。這不應影響機構問責制：使用人工智能制定影響個人權利的歧視性決策的公司或公共機構應負責補救任何損害。它應定期審查有關歧視行為跡象的決定。

與人工智能和其他數字技術一樣，開發人員也有責任尊重人權 - 他們必須確保他們的技術本質上不具有歧視性，并且他們不會將其出售給可能將其用于歧視性或對人類有害的目的的用戶權利。

3.在高影響行業中避免無法解釋的人工智能

這適用于可能對個人權利產生直接影響且不具有內在危害的AI應用程序。無論是預測犯罪還是批準抵押，如果由沒有有效問責制的人工智能系統作出決定(如上文第2點所述)，則不應使用它。這太激進了嗎?幾乎不; 我們不接受現在允許審計或司法系統不允許上訴或司法審查的會計制度。透明度和問責制對于尊重人權至關重要。

我并不主張所有AI應用程序都應通過此測試。許多商業和非商業人工智能應用程序不需要，因為它們對個人權利的影響要么是微不足道的，要么可以忽略不計。

我強調的許多問題 - 數據偏差，問責制和其他問題 - 同樣適用于不使用深度學習AI的自動化系統，這些系統的關鍵區別在于，至少在理論上，這些系統更加透明。

對于人工智能的使用對保護人權的問題，這些既不是全面的，也不是經過檢驗的解決辦法; 我的目標是突出一些挑戰和可能的解決方案 - 并開始對話。