大蕭條時期，美國聯邦政府成立了Home Owners’ Loan Corporation(HOLC)來提供低息房屋貸款，聯邦住房管理局(FHA)為私人銀行的抵押貸款提供擔保。由于HOLC的運營人員不了解當地貸款者的情況，所以他們構建了“住宅安全地圖”，將街區按A到D等級進行分級，D等級的街區采用紅色標記，表示這一區域屬于不良高風險等級。這些“紅線”地圖也被FHA和私人企業所使用，并逐漸蔓延至銀行、保險公司和零售商店，從而導致了服務受限和街區惡化的惡性循環。

許多私人銀行都有自己的紅線地圖。例如，在加州，Security First National Bank創建了洛杉磯街區評級系統。洛杉磯市中心的大多數街區都被標有紅線，通常還會有關于“日本人和黑人集中地”的明確標記。Boyle Heights被標記為“充滿了各種顛覆分子的蜂巢”。Watts也被標記為紅色，因為它不僅是黑人和日本人的聚集地，德國人、希臘人、意大利人和蘇格蘭人都集中在這一區域。

1968年的《公平住房法》禁止了紅線劃分行為。然而，在大數據時代，就業、保險和貸款申請越來越多地受到數據挖掘模型的評估，這些模型并不公開，但卻可能產生更為有害的影響，因為它們不受地理邊界的限制，而且公眾也無法得知其內部原理。

即使是編寫代碼的程序員，也無法確切知道黑盒算法是如何進行評估的，但是幾乎可以肯定的是，這些算法直接或間接地考慮了性別、種族和性取向等因素，這就是我們所稱的高科技紅線。因為一個人具有黑盒算法發現的與行為統計相關的群體特征，就對他進行懲罰，是不道德的。

許多評估求職者的算法會識別當前員工特征的統計模式。一家公司的首席科學家承認其軟件選擇的一些因素是沒有意義的。例如，該軟件發現其數據庫中有幾個優秀的程序員經常訪問一個特定的日本漫畫網站，所以它認定訪問這個網站的人可能是優秀的程序員。這名首席科學家說，“顯然，這不是因果關系”，但他認為這仍然有用，因為這一結果具有很強的統計相關性。這是一個令人感到痛苦的例子，向我們展示了一種沒有根據的想法，即使是那些應該更了解統計模式的人，也會認為統計模式比常識更為重要。

這家公司的首席執行官還表示，公司的算法考慮了幾十個因素，并且隨著相關性的不斷變化，不斷改變被認為重要的變量。她認為不斷變化的變量列表顯示了模型的強大和靈活性。她還提出了一個似乎更令人信服的解釋，即該算法捕捉了短暫存在的巧合相關，即是這些相關沒有什么價值。如果存在因果關系，它們是不會短暫存在的，它們會持續存在且有用。一種利用巧合的相關性來評估求職者的算法幾乎肯定是有偏見的。如果一名墨西哥裔美國女性并不喜歡受白人男性軟件工程師歡迎的日本漫畫網站，那她還是否會被判定為優秀的程序員?

同樣，亞馬遜最近放棄了開發定制算法來評估申請人簡歷的嘗試。在過去十年里，亞馬遜利用求職者簡歷對這些算法進行了訓練，結果顯示算法更偏向亞馬遜過去雇傭的求職者(其中大多數都是男性)。來自女子學院的申請人會被降級，因為在亞馬遜工作的男性沒有去過這些學院。來自女性運動隊的申請人也會遇到同樣的情況。

一種評估貸款申請的中國算法著重關注手機使用情況，例如來話和去話的應答頻率，以及用戶是否保持手機滿電。但問題是，這些指標中哪一個可以成為電話用戶信用風險良好的標志?你所能感受到的不確定性都表明了這些標記存在任意性。

這些巧合關聯都是暫時和無意義的，但卻可能存在歧視。當這種信用評級系統首次在中國披露時，接聽所有來電被認為是一種良好信用風險的信號。但這很可能也有偏見，比如某些宗教會規定不應該在某天或某個時間段接聽電話。

社交媒體平臺上收集的數據為公司提供了一種新的可疑定性見解。英國最大的汽車保險公司Admiral Insurance曾計劃推出第一次汽車報價服務，該報價將基于對申請人Facebook帖子的計算分析。例如詞匯選擇，以及他喜歡邁克爾·喬丹還是倫納德·科恩。然后，像其他黑盒算法一樣，它們會隱藏在黑盒中進行分析。Facebook帖子中肯定存在偏見。一個黑人男性喜歡邁克爾·喬丹，而一個白人女性喜歡倫納德·科恩，這之間的公平如何決定?如果Facebook上與性別、種族、族裔或性取向相關的詞匯選擇碰巧與汽車保險索賠相關呢?

在審前保釋決定、審后判決和定罪后假釋決定中，算法審判越來越普遍。一名開發人員寫道，“這種方法完全就是黑箱操作，也沒有人為此負責。”為了表示嚴重程度，他舉了一個令人震驚的例子：“如果我選用不同大小的預測值，它會給出你沒有預料到的結果。”我們無法預料到的事情是沒有意義的，但它們卻巧合相關了。

一些預測因素很可能代表了性別、種族、性取向和其他不應該考慮的參數。人們不應該因為性別、種族或性取向而被重罰保釋金，或被判不合理的徒刑，或被拒絕假釋。

算法問題可能導致的未來可以在中國看到，中國政府正在實施一個全國性的社會信用評分系統，旨在跟蹤人們買什么、去哪里、做什么，以及其他任何可能表明一個人不值得信任的事情。該國的安全部門也在大力投資人臉識別技術，從而給信用評分類工具帶來新的數據。兩位中國研究人員最近報告說，他們可以通過將計算算法應用于掃描的面部照片，以89.5%的準確率預測一個人是否是罪犯。他們的項目發現了一些用于預測犯罪的鑒別性結構特征，如嘴唇曲率、眼睛內角距離和所謂的鼻口角度。

如果他們只是把那些看起來像罪犯的人關進拘留所呢?這會有什么害處?他們將不得不呆在那里，直到他們通過長期的康復項目。但是有些人會是無辜的，那么從長遠來看，這將如何對他們產生不利影響?

我們能做些什么來監管這些系統?可以通過法律要求提高透明度。公民應該能夠檢查算法使用數據的準確性，并且應該能夠獲得足夠的信息來測試算法是否有非法的不同影響。

幸運的是，人們越來越認識到算法對我們生活的影響。皮尤研究中心上周公布的一項調查顯示，許多美國人擔心當計算機用數學來做決定時會存在偏見和不公平，比如分配個人財務數字，進行犯罪風險評估，或者篩選求職者的簡歷和面試。皮尤的調查還發現公眾對人工智能評分的關注在很大程度上取決于環境：大約30%的人認為公司可以根據顧客的個人和行為數據提供交易和折扣。但是大約50%的人認為刑事司法系統可以使用算法來預測假釋犯是否會犯下另一項罪行。

我們對計算機的信心是如此地盲目，以至于我們愿意讓算法來拒絕工作申請和貸款申請，設定保險費率，決定刑期，并把人關進拘留所?只因他們碰巧具有算法選擇的不相關特征，就偏袒一些人，卻虐待其他人。這根本不是進步，這是過去那個存在不合理歧視時代的回歸。