根據《CIO》雜志2023年的《CIO狀態報告》，26%的IT領導者表示機器學習（ML）和AI將推動最多的IT投資。雖然由ML算法驅動的行為可以給組織帶來競爭優勢，但錯誤可能在聲譽、收入甚至生命方面造成高昂的代價。
理解你的數據及其所傳達的信息很重要，但同樣重要的是了解你的工具，了解你的數據，并始終牢記組織的價值觀。
以下是過去十年中一些引人注意的AI失誤，揭示了可能出現的問題。
加拿大航空因聊天機器人的錯誤信息支付賠償金
2024年2月，加拿大航空被命令向一名乘客支付賠償金，因為其虛擬助手在特別困難的時期給了他錯誤的信息。
杰克·莫法特在2023年11月祖母去世后，咨詢了加拿大航空的虛擬助手關于喪親票價的信息。聊天機器人告訴他，他可以以常規價格購買從溫哥華到多倫多的機票，并在購買后90天內申請喪親折扣。遵循這一建議，莫法特購買了一張單程794.98加元的多倫多機票和845.38加元的返回溫哥華的機票。
但是當莫法特提交退款申請時，航空公司拒絕了他的請求，聲稱喪親票價不能在購票后申請。
莫法特隨后將加拿大航空告到加拿大的一個仲裁庭，聲稱航空公司疏忽并通過其虛擬助手誤傳了信息。根據仲裁委員克里斯托弗·里弗斯的說法，加拿大航空辯稱不能為其聊天機器人提供的信息承擔責任。
里弗斯駁回了這一論點，指出航空公司沒有“采取合理的注意確保其聊天機器人的準確性”，因此他命令航空公司支付給莫法特812.02加元，其中包括650.88加元的損害賠償。
《體育畫報》可能發表了虛假作者的文章
2023年11月，在線雜志《未來主義》表示，《體育畫報》正在發表由AI生成的作者撰寫的文章。
《未來主義》援引匿名消息來源稱，涉及內容創建，還指出這家著名體育雜志發表了“很多”虛假作者的文章，一些在這些虛假作者名下的文章也是由AI生成的。
這家在線雜志發現，相關作者的頭像在一個銷售AI生成肖像的網站上有列出。《未來主義》隨后聯系了《體育畫報》的出版商Arena Group，后者在一份聲明中說，相關文章是來自第三方AdVon Commerce的授權內容。
“我們持續監控我們的合作伙伴，并且在這些指控提出時正在進行審核，”Arena Group在提供給《未來主義》的聲明中說。“AdVon向我們保證，所有涉及的文章均由人類撰寫和編輯。”
聲明還提到，AdVon的作者在某些文章中使用筆名或化名，同時指出Arena Group不認同這些行為。隨后，Arena Group從《體育畫報》網站上撤下了有問題的文章。
針對《未來主義》的報道，體育畫報工會發表聲明表示對這些指控感到震驚，并要求Arena Group管理層給出答案和透明度。
“如果這些做法屬實，它們違反了我們對新聞業的所有信仰，”體育畫報工會在聲明中說。“我們對與如此不尊重我們讀者的事情相關聯感到厭惡。”
Gannett的AI在高中體育文章中出錯
2023年8月，新聞集團Gannett宣布將暫停使用一種名為LedeAI的AI工具，此前由該AI撰寫的幾篇報道因重復、寫作質量差且缺乏關鍵細節而在網絡上走紅。
CNN指出了一個例子，被互聯網檔案館的Wayback Machine保存下來，文章開頭寫道：“沃辛頓基督教[[WINNING_TEAM_MASCOT]]在周六的俄亥俄州男子足球比賽中以2-1擊敗了韋斯特維爾北部[[LOSING_TEAM_MASCOT]]。”
CNN還發現LedeAI為Gannett旗下其他地方性報紙撰寫了類似的故事，包括路易斯維爾信使日報、亞利桑那中央、佛羅里達今日以及密爾沃基日報哨兵報。
在這些故事在社交媒體上被廣泛嘲笑后，Gannett選擇在所有使用該服務的地方市場暫停使用LedeAI。
在給CNN的一份聲明中，LedeAI的首席執行官Jay Allred表示遺憾，并承諾全天候努力糾正問題。
iTutor Group 的招聘 AI 會因年齡原因拒絕應聘者
在2023年8月，輔導公司iTutor Group同意支付365,000美元，以解決由美國平等就業機會委員會（EEOC）提起的訴訟。聯邦機構指出，這家為中國學生提供遠程輔導服務的公司使用了AI驅動的招聘軟件，該軟件自動拒絕了55歲及以上的女性申請者以及60歲及以上的男性申請者。
EEOC表示，有超過200名合格的申請者被軟件自動拒絕。
EEOC主席Charlotte A. Burrows在一份聲明中表示：“年齡歧視是不公正且非法的。即使技術自動化了歧視，雇主仍然要負責。”
iTutor Group否認任何不當行為，但決定和解此案。作為和解和同意令的一部分，它同意采納新的反歧視政策。
ChatGPT虛構法庭案件
2023年大型語言模型（LLMs）的進步引發了對生成性AI在幾乎所有行業變革潛力的廣泛興趣。OpenAI的ChatGPT處于這一興趣高漲的中心，預示著生成AI如何具有在商業的幾乎每個角落中顛覆工作性質的能力。
但這項技術在能夠可靠地接管大部分業務流程之前還有很長的路要走，正如律師Steven A. Schwartz在2023年遭遇美國地區法官P. Kevin Castel的困境時發現的那樣，當時他使用ChatGPT來研究針對哥倫比亞航空公司Avianca的訴訟中的先例。
施瓦茨律師在Levidow, Levidow & Oberman律師事務所使用OpenAI生成的AI聊天機器人來尋找先前的案例，以支持Avianca員工Roberto Mata因2019年受傷而提起的訴訟。問題在于？提交給法庭的至少六個案例并不存在。在5月提交的文件中，Castel法官指出施瓦茨提交的案例包括虛假的名稱和案件編號，以及偽造的內部引用和引述。施瓦茨的合伙人Peter LoDuca是Mata的案件律師，并且簽署了訴狀，這也使他自己陷入了危險之中。
在一份宣誓書中，施瓦茨告訴法庭這是他第一次使用ChatGPT作為法律研究來源，并“沒有意識到其內容可能是虛假的”。他承認沒有確認AI聊天機器人提供的來源。他還表示，“非常后悔在此次法律研究中使用了生成式AI，將來在沒有絕對驗證其真實性之前，絕不再使用。”
2023年6月，Castel法官對施瓦茨和LoDuca各處以5000美元罰款。在6月的另一項裁決中，Castel法官駁回了Mata對Avianca的訴訟。
AI算法識別一切 除了COVID-19之外
自2020年COVID-19大流行開始以來，許多組織試圖應用機器學習算法幫助醫院更快地診斷或分流病人。但據英國圖靈研究所——一個國家級的數據科學和AI中心稱，這些預測工具幾乎沒有幫助。
《麻省理工科技評論》記錄了多起失敗案例，這些失敗大多是由于工具的訓練或測試方式出錯所致。使用標簽錯誤的數據或來源不明的數據是常見的原因。
德里克·德里格斯（Derek Driggs）是劍橋大學的機器學習研究員，他與同事們在《自然機器智能》雜志上發表了一篇論文，探討了深度學習模型在診斷該病毒方面的應用。這篇論文確定了這種技術不適合臨床使用。例如，德里格斯的團隊發現他們自己的模型存在缺陷，因為它是根據包括躺著和站立掃描的病人的數據集來訓練的。躺著的病人更有可能嚴重患病，因此算法學會了根據掃描中人的位置來識別COVID風險。
類似的例子還包括一個訓練數據集包括健康兒童的胸部掃描的算法。該算法學會了識別兒童，而不是高風險病人。
Zillow因算法購房災難虧損數百萬，大幅裁員
2021年11月，線上房地產市場Zillow對股東表示，將關閉其Zillow Offers業務，并在未來幾個季度內裁減公司25%的員工——約2000名員工。房屋翻轉部門的困境是由于其用來預測房價的ML算法的錯誤率所致。
Zillow Offers是一個程序，通過該程序，公司根據從ML算法派生的房屋價值“Zestimate”對房產進行現金報價。該想法是翻新這些房產并快速轉手出售。但Zillow的一位發言人告訴CNN，該算法的中位數錯誤率為1.9%，對于非市場房屋，錯誤率高達6.9%。
CNN報道稱，自2018年4月Zillow Offers推出以來，Zillow通過該程序購買了27,000套房屋，但截至2021年9月底只賣出了17,000套。COVID-19大流行和家庭裝修勞動力短缺等“黑天鵝”事件加劇了算法的準確性問題。
Zillow 承認該算法導致其無意中以高于未來預估售價的價格購買了房屋，從而導致2021年第三季度賬面價值減記3.04億美元。
在宣布后與投資者的電話會議中，Zillow聯合創始人兼首席執行官Rich Barton表示，可能可以調整算法，但最終風險過大。
醫療算法未能標記出黑人患者
2019年，《科學》雜志發表的一項研究揭示，一種被全美各地醫院和保險公司用來識別需要“高風險護理管理”項目的病人的醫療預測算法，不太可能標記出黑人病人。
高風險護理管理計劃為慢性病患者提供訓練有素的護理人員和初級保健監控，以防止嚴重并發癥。但該算法更有可能推薦白人患者參加這些計劃，而不是黑人患者。
該研究發現，該算法使用醫療支出作為判斷個體醫療需求的代理指標。但根據《科學美國人》雜志，病情較重的黑人患者的醫療成本與健康狀況較好的白人相當，這意味著即使他們的需求更大，他們也獲得了較低的風險評分。
研究人員提出，可能有幾個因素導致了這種情況。首先，有色人種更可能有較低的收入，這即使在有保險的情況下，也可能使他們不太可能獲得醫療服務。隱性偏見也可能導致有色人種接受到的護理質量較低。
盡管研究沒有指明算法或開發者的名稱，研究人員告訴《科學美國人》雜志，他們正在與開發者合作解決這一問題。
微軟聊天機器人因訓練數據集而發表種族歧視推文
2016年3月，微軟發現使用Twitter互動作為機器學習算法的訓練數據可能帶來令人沮喪的結果。
微軟在社交媒體平臺上發布了名為Tay的AI聊天機器人，并描述它是“對話理解”的實驗。其設計理念是讓聊天機器人扮演一個青少年女孩的角色，并通過Twitter與人們互動，這一過程結合了機器學習和自然語言處理技術。微軟使用匿名的公共數據和一些由喜劇演員預編寫的內容進行種子填充，然后讓它在社交網絡上自由學習和進化。
在16小時內，該聊天機器人發布了超過95,000條推文，這些推文迅速變得公然種族歧視、厭女以及反猶太人。微軟迅速暫停了這項服務進行調整，并最終徹底停止了該項目。
事件發生后，微軟研究與孵化部門的公司副總裁（當時為微軟醫療部門的公司副總裁）Peter Lee在微軟官方博客上發文道歉：“我們對Tay發布的那些無意的、具有攻擊性和傷害性的推文深表歉意，這些并不代表我們是誰，也不代表我們所追求的目標，更不是我們設計Tay的方式。”
李指出，Tay的前身——微軟于2014年在中國發布的小冰，已經在Tay發布前的兩年里成功地與超過4000萬人進行了對話。微軟沒有預料到的是，一群Twitter用戶會立即開始向Tay發送種族主義和厭女主義的評論。這個機器人很快從這些內容中學習，并將其融入自己的推文中。
李寫道：“盡管我們為系統可能遭受的多種濫用做了準備，但我們對這種特定攻擊的監管存在重大疏忽。結果，Tay發布了極不恰當和應受譴責的言論和圖片。”
亞馬遜AI招聘工具僅推薦男性候選人
像許多大公司一樣，亞馬遜渴望擁有可以幫助其人力資源部門篩選出最佳候選人的工具。2014年，亞馬遜開始研發一款AI驅動的招聘軟件。然而，存在一個問題：該系統極度偏愛男性候選人。2018年，路透社報道稱亞馬遜已經終止了該項目。
亞馬遜的系統給候選人評級從1星到5星。但系統核心的機器學習模型是基于過去十年提交給亞馬遜的簡歷訓練的——其中大多數來自男性。由于這種訓練數據的影響，系統開始懲罰簡歷中包含“women's”一詞的短語，并降低了來自全女子學院的候選人的評級。
當時，亞馬遜表示這個工具從未被亞馬遜的招聘人員用于評估候選人。公司試圖編輯工具使其變得中立，但最終決定它不能保證不會學到其他某種歧視性的候選人排序方式，因此終止了該項目。
企業網D1net(hfnxjk.com)：
國內主流的to B IT門戶，同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號