Predictim的網站稱該公司已被反饋“淹沒”,無限期推遲全面推出,而其高管“專注于評估我們如何提供服務并進行更改以解決我們收到的一些建議。”該網站表示不會生成新的掃描并提供退款。
停止標志著許多人批評的服務突然出現,這是一種令人不安的象征,即算法在判斷和預測人類行為方面正在發揮作用。
Predictim - 現在用于分析求職者的幾種人工智能服務之一 - 掃描嬰兒保姆的社交媒體,并提供對保姆的個性的自動評估,包括他們有“不良態度”的風險。
公司高管周五早些時候沒有回復評論請求,他們認為社交媒體掃描服務是一種重要的工具,可幫助父母在他們親近孩子之前阻止冒險或“天生邪惡”的保姆。他們此前曾辯稱,該服務可以控制偏見和隱私問題,并且公眾批評是錯誤的。
“華盛頓郵報”與幾位家長進行了交談,他們表示,人格篩選影響了他們對保姆性格的看法,以及一名小保姆,他驚訝地發現自動化系統已將她標記為欺凌和不尊重的風險。
最近幾周,Facebook,Twitter和Instagram阻止了該服務的大部分訪問,稱其社交媒體掃描違反了用戶監控和數據隱私的規定。公司高管上個月末表示,他們不受這些限制的影響,并打算開始將更多數據(例如保姆的博客文章)納入其分析中。
研究人員和AI Now研究所的聯合創始人凱特克勞福德稱這項服務“容易出錯,基于破碎的假設和隱私入侵。更糟糕的是 - 這是雇主和求職者之間不斷增長的權力不對稱的可怕癥狀。低薪工人不會選擇退出。“