克瓦希Madry，計(jì)算機(jī)科學(xué)的麻省理工學(xué)院的副教授和計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的可信賴AI主動(dòng)的鉛教員，AI比較鋒利的刀子，一個(gè)有用的，但潛在危險(xiǎn)的工具，社會(huì)必須學(xué)會(huì)正確地訓(xùn)練。Madry最近在麻省理工學(xué)院關(guān)于強(qiáng)大，可解釋人工智能的研討會(huì)上發(fā)表演講，該 研討會(huì)由麻省理工學(xué)院的情報(bào)部門共同贊助 和CSAIL，并于11月20日在Singleton Auditorium舉行。該研討會(huì)的目的是展示麻省理工學(xué)院在建立人工智能保障領(lǐng)域的新工作，這幾乎已成為機(jī)器學(xué)習(xí)的一個(gè)分支。六名教師談到了他們的研究，40名學(xué)生展示了海報(bào)，而Madry以一個(gè)名為“ 健壯性和可解釋性 ”的談話開啟了研討會(huì)。“我們采訪了這個(gè)新興領(lǐng)域的領(lǐng)導(dǎo)者M(jìn)adry，討論了活動(dòng)期間提出的一些重要想法。
問： AI最近在深度學(xué)習(xí)方面取得了很大進(jìn)展，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，它大大提高了算法在文本，圖像和聲音中挑選模式的能力，為我們提供了Siri和Alexa等自動(dòng)化助手。但是深度學(xué)習(xí)系統(tǒng)仍然以令人驚訝的方式受到攻擊：當(dāng)他們?cè)诂F(xiàn)實(shí)世界中遇到稍微不熟悉的例子或者惡意攻擊者為其提供微妙改變的圖像時(shí)會(huì)遇到絆腳石。您和其他人如何努力使AI更強(qiáng)大?
答：直到最近，人工智能研究人員才專注于獲取機(jī)器學(xué)習(xí)算法來完成基本任務(wù)。實(shí)現(xiàn)均衡的平均績效是一項(xiàng)重大挑戰(zhàn)。現(xiàn)在性能已經(jīng)提高，注意力已轉(zhuǎn)移到下一個(gè)障礙：改善最壞情況的性能。 我的大部分研究都集中在迎接這一挑戰(zhàn)。具體來說，我致力于開發(fā)下一代機(jī)器學(xué)習(xí)系統(tǒng)，該系統(tǒng)對(duì)于自動(dòng)駕駛汽車和過濾惡意內(nèi)容的軟件等關(guān)鍵任務(wù)應(yīng)用程序而言足夠可靠和安全。 我們目前正在構(gòu)建工具來訓(xùn)練對(duì)象識(shí)別系統(tǒng)，以識(shí)別場(chǎng)景或圖片中發(fā)生的事情，即使已經(jīng)操縱了模型中的圖像。我們還在研究提供安全性和可靠性保證的系統(tǒng)限制。我們可以將多少可靠性和安全性構(gòu)建到機(jī)器學(xué)習(xí)模型中，以及我們需要犧牲哪些其他功能來實(shí)現(xiàn)目標(biāo)?
我的同事 Luca Daniel也發(fā)了言，正在研究這個(gè)問題的一個(gè)重要方面：開發(fā)一種方法來衡量關(guān)鍵情況下深度學(xué)習(xí)系統(tǒng)的彈性。深度學(xué)習(xí)系統(tǒng)做出的決策會(huì)產(chǎn)生重大影響，因此最終用戶必須能夠衡量每個(gè)模型輸出的可靠性。使系統(tǒng)更健壯的另一種方法是在培訓(xùn)過程中。在她的演講中，“ GAN和黑盒優(yōu)化中的穩(wěn)健性 ”， Stefanie Jegelka 展示了生成對(duì)抗網(wǎng)絡(luò)(GAN)中的學(xué)習(xí)者如何能夠承受對(duì)其輸入的操縱，從而獲得更好的表現(xiàn)。
問：支持深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)似乎幾乎毫不費(fèi)力地學(xué)習(xí)：為他們提供足夠的數(shù)據(jù)，他們可以在許多任務(wù)中超越人類。然而，我們也看到他們很容易失敗，至少有三個(gè)被廣泛宣傳的自駕車撞毀并殺死某人的案例。人工智能在醫(yī)療保健方面的應(yīng)用尚未達(dá)到相同的審查水平，但風(fēng)險(xiǎn)也同樣高。 當(dāng)人工智能系統(tǒng)缺乏穩(wěn)健性時(shí)，大衛(wèi)桑塔格將他的談話集中在經(jīng)常生死攸關(guān)的后果上。在對(duì)患者病歷和其他觀察數(shù)據(jù)進(jìn)行AI培訓(xùn)時(shí)，有哪些危險(xiǎn)信號(hào)?
答：這可以追溯到保證的性質(zhì)以及我們?cè)谀Ｐ椭袠?gòu)建的基本假設(shè)。我們經(jīng)常假設(shè)我們的訓(xùn)練數(shù)據(jù)集代表了我們測(cè)試模型的真實(shí)數(shù)據(jù) - 這種假設(shè)往往過于樂觀。桑塔格給出了兩個(gè)在訓(xùn)練過程中出現(xiàn)的有缺陷的假設(shè)的例子，這些假設(shè)可能導(dǎo)致AI給出錯(cuò)誤的診斷或推薦有害的治療方法。第一個(gè)重點(diǎn)是去年由美國國立衛(wèi)生研究院發(fā)布的大量患者X射線數(shù)據(jù)庫。預(yù)計(jì)該數(shù)據(jù)集將為肺病的自動(dòng)診斷帶來重大改進(jìn)，直到懷疑的放射科醫(yī)生 仔細(xì)觀察并且在掃描的診斷標(biāo)簽中發(fā)現(xiàn)了廣泛的錯(cuò)誤。在使用大量不正確的標(biāo)簽進(jìn)行胸部掃描訓(xùn)練的AI將很難產(chǎn)生準(zhǔn)確的診斷。
Sontag引用的第二個(gè)問題是，由于系統(tǒng)故障或醫(yī)院和醫(yī)療保健提供者報(bào)告患者數(shù)據(jù)的方式發(fā)生變化，未能糾正數(shù)據(jù)中的差距和不正常現(xiàn)象。例如，重大災(zāi)難可能會(huì)限制急診室患者可用的數(shù)據(jù)量。如果機(jī)器學(xué)習(xí)模型未能將這種轉(zhuǎn)變考慮在內(nèi)，那么它的預(yù)測(cè)就不會(huì)非常可靠。
問：您已經(jīng)介紹了一些使AI更可靠和安全的技術(shù)。那么可解釋性呢?是什么讓神經(jīng)網(wǎng)絡(luò)如此難以解釋，以及工程師如何開發(fā)出引人入勝的方式?
答：理解神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)是眾所周知的困難。每個(gè)預(yù)測(cè)都源于由數(shù)百到數(shù)千個(gè)單獨(dú)節(jié)點(diǎn)做出的決策網(wǎng)絡(luò)。我們正在嘗試開發(fā)新方法，以使此過程更加透明。在計(jì)算機(jī)視覺領(lǐng)域，其中一位先驅(qū)是 The Quest的主管Antonio Torralba。在他的演講中，他展示了在他的實(shí)驗(yàn)室中開發(fā)的一種新工具，該工具突出了神經(jīng)網(wǎng)絡(luò)在解釋場(chǎng)景時(shí)所關(guān)注的特征。該工具可讓您識(shí)別網(wǎng)絡(luò)中的節(jié)點(diǎn)，這些節(jié)點(diǎn)負(fù)責(zé)從一組窗戶或一組樹木中識(shí)別門。可視化對(duì)象識(shí)別過程使軟件開發(fā)人員能夠更細(xì)致地了解網(wǎng)絡(luò)的學(xué)習(xí)方式。
實(shí)現(xiàn)可解釋性的另一種方法是精確定義使模型可理解的屬性，然后訓(xùn)練模型以找到該類型的解決方案。 Tommi Jaakkola 在他的演講中表達(dá)了“可解釋性和功能透明度”，“在保持網(wǎng)絡(luò)整體靈活性的同時(shí)，可以將模型訓(xùn)練為線性或本地具有其他所需品質(zhì)。在解釋物理現(xiàn)象時(shí)，需要在不同的分辨率水平上進(jìn)行解釋。當(dāng)然，在機(jī)器學(xué)習(xí)系統(tǒng)中建立保證需要付出代價(jià) - 這是貫穿所有會(huì)談的主題。但這些保證是必要的，而且不是不可克服的。人類智慧的美妙之處在于，雖然我們無法完美地執(zhí)行大多數(shù)任務(wù)，但就像機(jī)器一樣，我們有能力和靈活性在各種環(huán)境中學(xué)習(xí)。
京公網(wǎng)安備 11010502049343號(hào)