劍橋大學(xué)的機(jī)器學(xué)習(xí)研究員Derek Driggs和他的同事在《自然機(jī)器智能》雜志上發(fā)表了一篇論文，探索了深度學(xué)習(xí)模型在診斷病毒方面的使用。本文認(rèn)為該技術(shù)不適合臨床應(yīng)用。例如，Driggs的團(tuán)隊(duì)發(fā)現(xiàn)他們自己的模型是有缺陷的，因?yàn)樗窃谝粋€(gè)數(shù)據(jù)集上訓(xùn)練的，該數(shù)據(jù)集包括掃描時(shí)躺著的患者和站著的患者的掃描結(jié)果。躺著的患者更有可能患上重病，所以算法學(xué)會(huì)了根據(jù)掃描中人的位置來識(shí)別冠狀病毒感染的風(fēng)險(xiǎn)。

 

一個(gè)類似的例子包括一個(gè)用數(shù)據(jù)集訓(xùn)練的算法，該數(shù)據(jù)集包括對(duì)健康兒童的胸部掃描。該算法學(xué)會(huì)了識(shí)別兒童，而不是高危患者。

 

 

2021年11月，在線房地產(chǎn)市場(chǎng)Zillow告訴股東，將在未來幾個(gè)季度結(jié)束Zillow提供的業(yè)務(wù)，并裁員25%-約2000名員工。房屋翻轉(zhuǎn)單元的困境是它用來預(yù)測(cè)房?jī)r(jià)的機(jī)器學(xué)習(xí)算法錯(cuò)誤率的結(jié)果。

 

Zillow Offers是一個(gè)項(xiàng)目，通過該項(xiàng)目，該公司根據(jù)從機(jī)器學(xué)習(xí)算法得出的房屋價(jià)值的“Z估計(jì)”，對(duì)房產(chǎn)進(jìn)行現(xiàn)金報(bào)價(jià)。他們的想法是對(duì)房產(chǎn)進(jìn)行翻新，并迅速將其轉(zhuǎn)手。但Zillow的一位發(fā)言人告訴CNN，該算法的錯(cuò)誤率中值為1.9%，對(duì)于非市場(chǎng)房屋來說，錯(cuò)誤率可能要高得多，高達(dá)6.9%。

 

美國(guó)有線電視新聞網(wǎng)報(bào)道，自2018年4月推出以來，Zillow通過Zillow優(yōu)惠購(gòu)買了2.7萬(wàn)套住房，但截至2021年9月底僅售出1.7萬(wàn)套。新冠肺炎疫情和房屋翻修勞動(dòng)力短缺等黑天鵝事件導(dǎo)致了該算法的準(zhǔn)確性問題。

 

Zillow表示，該算法導(dǎo)致其無意中以高于目前對(duì)未來售價(jià)的估計(jì)的價(jià)格購(gòu)買了房屋，導(dǎo)致2021年第三季度的庫(kù)存減記3.04億美元。

 

在宣布這一消息后與投資者舉行的電話會(huì)議上，Zillow聯(lián)合創(chuàng)始人兼首席執(zhí)行官里奇·巴頓表示，或許可以調(diào)整算法，但最終風(fēng)險(xiǎn)太大。

 

 

2019年，發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究顯示，全美醫(yī)院和保險(xiǎn)公司用來識(shí)別需要高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃的患者的醫(yī)療保健預(yù)測(cè)算法，挑出黑人患者的可能性要小得多。

 

高風(fēng)險(xiǎn)護(hù)理管理方案為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級(jí)保健監(jiān)測(cè)，以努力預(yù)防嚴(yán)重并發(fā)癥。但該算法更有可能推薦白人患者參加這些項(xiàng)目，而不是黑人患者。

 

研究發(fā)現(xiàn)，該算法使用醫(yī)療支出作為確定個(gè)人醫(yī)療需求的指標(biāo)。但根據(jù)科學(xué)美國(guó)人的數(shù)據(jù)，病情較重的黑人患者的醫(yī)療成本與較健康的白人患者的成本持平，這意味著即使他們的需求更大，他們獲得的風(fēng)險(xiǎn)分?jǐn)?shù)也更低。

 

這項(xiàng)研究的研究人員表示，可能有幾個(gè)因素起到了作用。首先，有色人種更有可能收入較低，即使在有保險(xiǎn)的情況下，這也可能使他們更難獲得醫(yī)療保健。隱含的偏見也可能導(dǎo)致有色人種接受質(zhì)量較低的護(hù)理。

 

雖然這項(xiàng)研究沒有透露算法或開發(fā)者的名字，但研究人員告訴《科學(xué)美國(guó)人》，他們正在與開發(fā)者合作解決這種情況。

 

 

2016年3月，微軟了解到，使用Twitter互動(dòng)作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會(huì)產(chǎn)生令人沮喪的結(jié)果。

 

微軟在社交媒體平臺(tái)上發(fā)布了AI聊天機(jī)器人Tay。該公司將其描述為“對(duì)話理解”的一次實(shí)驗(yàn)。當(dāng)時(shí)的想法是，聊天機(jī)器人將扮演少女的角色，并通過機(jī)器學(xué)習(xí)和自然語(yǔ)言處理相結(jié)合的方式通過Twitter與個(gè)人互動(dòng)。微軟為它播種了匿名的公共數(shù)據(jù)和一些喜劇演員預(yù)先編寫的材料，然后讓它自由發(fā)揮，從它在社交網(wǎng)絡(luò)上的互動(dòng)中學(xué)習(xí)和進(jìn)化。

 

在16個(gè)小時(shí)內(nèi)，聊天機(jī)器人發(fā)布了超過9.5萬(wàn)條推文，這些推文迅速變成了公開的種族主義、厭女者和反猶太主義者。微軟很快暫停了這項(xiàng)服務(wù)，進(jìn)行了調(diào)整，并最終取消了這項(xiàng)服務(wù)。

 

事件發(fā)生后，微軟研究與孵化公司副總裁(時(shí)任微軟醫(yī)療保健公司副總裁)彼得·李在微軟官方博客上發(fā)帖稱：“我們對(duì)泰的無意識(shí)冒犯和傷害性推文深表歉意，這些推文并不代表我們是誰(shuí)，我們代表的是什么，也不代表我們是如何設(shè)計(jì)泰伊的。”

 

Lee指出，Tay的前任小冰，由微軟于2014年在中國(guó)發(fā)布，在Tay發(fā)布之前的兩年里，已經(jīng)成功地與4000多萬(wàn)人進(jìn)行了對(duì)話。微軟沒有考慮到的是，一群Twitter用戶會(huì)立即開始向Tay發(fā)布種族主義和厭惡女性的言論。機(jī)器人很快就從這些材料中吸取了教訓(xùn)，并將其納入了自己的推文。

 

盡管我們已經(jīng)為許多類型的濫用系統(tǒng)做好了準(zhǔn)備，但我們對(duì)這次特定的攻擊進(jìn)行了嚴(yán)重的疏忽。因此，泰在推特上發(fā)布了極其不恰當(dāng)和應(yīng)受譴責(zé)的文字和圖片。

 

 

像許多大公司一樣，亞馬遜渴望能夠幫助其人力資源部門篩選出最佳應(yīng)聘者的工具。2014年，亞馬遜開始研發(fā)AI招聘軟件來實(shí)現(xiàn)這一目標(biāo)。只有一個(gè)問題：這一制度大大偏愛男性候選人。2018年，路透社爆出亞馬遜放棄該項(xiàng)目的消息。

 

亞馬遜的系統(tǒng)給應(yīng)聘者打出了從1到5的星級(jí)。但系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是根據(jù)提交給亞馬遜的10年簡(jiǎn)歷進(jìn)行訓(xùn)練的，其中大部分是男性簡(jiǎn)歷。作為培訓(xùn)數(shù)據(jù)的結(jié)果，該系統(tǒng)開始懲罰簡(jiǎn)歷中包含“女性”一詞的短語(yǔ)，甚至降低了全女子大學(xué)的候選人的等級(jí)。

 

當(dāng)時(shí)，亞馬遜表示，亞馬遜招聘人員從未使用過該工具來評(píng)估應(yīng)聘者。

 

該公司試圖對(duì)該工具進(jìn)行編輯，使其保持中立，但最終決定不能保證不會(huì)學(xué)習(xí)其他一些歧視性的排序候選人的方法，并終止了該項(xiàng)目。

 

 

2012年，零售業(yè)巨頭塔吉特(Target)的一個(gè)分析項(xiàng)目展示了公司可以從數(shù)據(jù)中了解到多少客戶信息。據(jù)《紐約時(shí)報(bào)》報(bào)道，塔吉特的市場(chǎng)部在2002年開始考慮如何確定客戶是否懷孕。這一系列調(diào)查導(dǎo)致了一個(gè)預(yù)測(cè)性分析項(xiàng)目，眾所周知，該項(xiàng)目將導(dǎo)致這家零售商無意中向一名十幾歲女孩的家人透露她懷孕了。這反過來會(huì)導(dǎo)致各種文章和營(yíng)銷博客將這一事件作為避免“令人毛骨悚然的因素”的建議的一部分。

 

塔吉特的市場(chǎng)部想要識(shí)別懷孕的人，因?yàn)樵谏钪械哪承r(shí)期--尤其是懷孕--人們最有可能從根本上改變他們的購(gòu)買習(xí)慣。例如，如果塔吉特能夠在這段時(shí)間接觸到客戶，它就可以培養(yǎng)這些客戶的新行為，讓他們轉(zhuǎn)向塔吉特購(gòu)買食品雜貨、服裝或其他商品。

 

像所有其他大型零售商一樣，塔吉特一直在通過購(gòu)物者代碼、信用卡、調(diào)查等方式收集客戶數(shù)據(jù)。它將這些數(shù)據(jù)與人口統(tǒng)計(jì)數(shù)據(jù)和它購(gòu)買的第三方數(shù)據(jù)混合在一起。通過對(duì)所有這些數(shù)據(jù)的分析，Target的分析團(tuán)隊(duì)確定了Target銷售的大約25種產(chǎn)品，這些產(chǎn)品可以一起分析，以生成“懷孕預(yù)測(cè)”分?jǐn)?shù)。然后，營(yíng)銷部門可以通過優(yōu)惠券和營(yíng)銷信息瞄準(zhǔn)得分較高的客戶。

 

進(jìn)一步的研究將揭示，研究客戶的生殖狀況可能會(huì)讓其中一些客戶感到毛骨悚然。根據(jù)《泰晤士報(bào)》的報(bào)道，該公司并沒有放棄定向營(yíng)銷，但確實(shí)開始在他們知道孕婦不會(huì)購(gòu)買的東西的廣告中加入——包括割草機(jī)廣告和尿布廣告——讓消費(fèi)者感覺廣告組合是隨機(jī)的。

 

 

國(guó)內(nèi)主流的to B IT門戶，同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。

 

版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。