就利用人工智能和機器學習而言，人們對結果的信任是很重要的。由于所謂的人工智能“黑匣子”問題，許多組織(尤其是那些受管制的行業的組織)可能會猶豫不決，不敢使用人工智能系統：算法只是得出模糊的決策而沒有解釋其所遵循的理由。

 

這是一個顯而易見的問題。如果我們不知道人工智能如何發揮作用，那我們又如何將醫療診斷或自動駕駛汽車等領域里生死攸關的決策交給人工智能來做?

 

這個問題的中心是神話所籠罩的技術問題。如今，人們普遍認為，人工智能技術已經變得如此復雜，以至于系統無法解釋為何做出自己的決定。即使可以，解釋也太復雜了，以至于我們的大腦無法理解。

 

現實情況是，當今在機器學習和人工智能系統中使用的許多最常見的算法都可以內建所謂的“可解釋性”。我們只是沒有在使用它——或者我們無法訪問它。對其它算法來說，人們還在開發可解釋性和可追溯性功能，但我們很快就能用上了。

 

在本文中，你將找到可解釋的人工智能的含義，它為什么對商業用途來說很重要，以及哪些力量在推動人們采用人工智能，以及哪些因素阻礙了人工智能的應用。

 

 

畢馬威(KPMB)和Forrester Research去年發布的報告顯示，只有21%的美國高管高度信任這兩家公司的分析。畢馬威(KPMG)的新興技術風險的全球負責人Martin Sokalski表示：“這些高管不僅相信我們對人工智能所做的分析——而且相信我們所做的所有分析。

 

Sokalski說，由于人們對分析缺乏信任，人工智能的采用漸漸放緩，尤其是各大公司對人工智能進行大規模部署的速度放緩。

 

Sokalski說：“雖然你讓聰明的數據科學家想出這些令人驚嘆的模型，但是他們卻沒有施展空間，因為企業領導者不信任也不了解這些模型。我不會在任何會使我不斷與監管機構打交道的模型部署到這些流程中，也不會使讓我登上頭條新聞的模型部署到這些流程中。”

 

要考慮監管審查的可不光是醫療和金融服務行業。《通用數據保護條例(GDPR)》稱，所有公司都必須向客戶解釋為什么自動化系統會做出決定。

 

此外，由于無法分析算法如何得出結論，因此各大公司在業務可能上線時不得不盲目相信人工智能系統的建議。

 

例如，零售公司Bluestem Brands正在使用人工智能提供定制化的購物建議。但是，如果人工智能系統推薦的商品不是有據可考的暢銷物品，或者與銷售專家的直覺不符怎么辦?

 

Bluestem Brands的IT主管Jacob Wagner說：“人們往往會說，‘不，這個人工智能壞了，我們應該推薦最暢銷的褲子。’”

 

解決這些信任危機的方案是提供一個解釋。人工智能系統在提出建議時使用了哪些因素?這就是可解釋的人工智能該出現的場合——人們越來越需要這樣的功能。

 

可解釋的人工智能包含了各種各樣的工具和技術，這些工具和技術旨在使具備領域專長的人更容易理解人工智能系統的最終解決方案。可解釋的人工智能使人們能夠參與決策過程，從而使人們更加信任這些系統并對這些結果高度負責。這往往相當于輸出人工智能通過培訓所學會的規則，并使人類可以對這些規則進行審計，從而了解人工智能如何從未來的數據中得出結論，這些數據的范圍超出了數據集。

 

Wagner說，就Bluestem Brands而言，他能夠從Lucidworks提供的當前系統中獲得大約85%的解釋，但他希望看到更多的解釋。

 

Wagner說：“使人們克服信任障礙是很難的。推薦某物的理由是什么?——我們對此所有用的信息越多，越容易有這樣的體會。”

 

 

如今，企業使用的大部分人工智能都是基于統計分析的。這些機器學習算法的用途廣泛，如改善購物建議、搜索結果、計算信用風險、發現計算機網絡中的可疑行為等等。

 

為了提出建議，這些算法分析了特定的特征、數據字段、因素或在行業中被稱為功能的東西。每個功能都具有特定的權重，這些權重有助于人工智能將事物歸類或發現異常。因此，例如，在確定某動物是貓還是狗時，算法可能會以動物的體重為主要因素，然后是動物的大小，最后是顏色。

 

因此，了解決定因素是一個簡單的過程。但是各大公司尚未將與決策相關的因素列為工作重點。

 

畢馬威的Sokalski說：“我們注意到的主要趨勢之一是企業缺乏對人工智能的內部治理和高效管理。我們發現，只有25%的公司正在投資開發控制框架和方法。”

 

Sokalski說，這是商業流程成熟度的問題，而不是技術問題。“其本質就是在整個生命周期中構建內部功能，端到端治理以及人工智能的端到端管理。”

 

 

Sokalski說，所有主要的人工智能平臺供應商以及大多數頂級開源人工智能項目都內置了某種形式的可解釋性和可審計性。

 

畢馬威(KMPG)一直在與其中一家供應商(即IBM)合作，開發屬于自己的一系列工具，(即AI in Control)供客戶使用。這樣的框架使公司更容易開發具備內置解釋性的人工智能系統，而不必將各種開源項目的功能拼湊在一起。

 

8月，IBM發布了自己的工具集AI Explainability 360，該工具集包含開源算法，可用于當今使用的所有主要類型的機器學習的可解釋性，但不包含常用于時間序列問題(如股市預測之類的問題)的遞歸神經網絡。

 

該工具集中有八種算法，其中大多數尚未以可用代碼的形式公開提供。基礎研究在今年或2018年才公布。IBM的首席研究人員兼IBMThomas J.Watson研究中心的經理Kush Varshney這樣說道，

 

Varshney說：“任何人都可以使用該工具集，不管他們是不是IBM的客戶。”

 

Varshney警告說，但是向人工智能系統添加可解釋性并不像提供決定所用因素的列表那么簡單。“解釋的方法林林總總。”

 

例如，做出有關是否向某人提供銀行貸款的決定。Varshney說，客戶想知道為什么自己的申請遭到拒絕，以及怎樣才能增加將來獲得貸款的機會。

 

Varshney說：“監管機構不會太在乎每個申請人。他們希望查看整個決策過程，希望整體上解釋過程的運作機制。他們希望就如何做出決策并找出是否存在問題(如公平性或其它潛在問題)而為所有輸入做出模擬。”

 

Varshney補充說，對銀行來說，要確保系統做出準確的預測，它們將面臨截然不同的問題。

 

 

隨著人工智能系統變得更加先進并且對預先定義的功能和權重的依賴減少，解釋也變得更加困難。舉例來說，對貓和狗進行分類的系統不是根據一組列表的數據點進行處理，而是對動物的照片進行處理。

 

卷積神經網絡通常用于圖像處理，它會查看訓練數據并自行發現重要特征。這些功能以非常復雜的形式出現，即涉及十分復雜的數學計算。

 

Varshney說：“如果你有一個非常復雜的黑匣子模型，該模型具有所有這些功能并以數百萬種方式加以組合，那么人類將無法理解。”

 

由于特定像素之間的復雜關系而將圖片判定為貓而不是狗，這就像甲因其大腦中的特定神經元在特定時間放電而告訴乙這是貓一樣無濟于事。但是，Varshney說，人們仍然可以通過進行更高級別的抽象來使系統具有可解釋性。

 

Varshney說：“你可以找到在語義上有意義的表征形式。例如，如果這是貓的圖像，人工智能將發現胡須、鼻子的形狀和眼睛的顏色都是重要的特征。”

 

然后，為了解釋決策，人工智能可以在照片中突出顯示表明這是貓的那些地方，或顯示貓的典型圖像的對比照片。

 

Varshney說：“這確實是增強人們對系統信任的一種方式。如果人們能夠理解這些事物的運作邏輯，那么他們就可以對系統的使用充滿信心。”

 

這正是馬薩諸塞州綜合醫院和百靈達婦女醫院臨床數據科學中心的執行主任Mark Michalski所采取的方法。

 

醫院使用人工智能在放射圖像中發現癌癥。醫務人員必須對系統有高度的信任才能使用人工智能。為了解決這個問題，醫療提供商不僅會得到掃描圖是否表明患者是否得了癌癥的非此即彼的答案，還會得到解釋。

 

“你可以在圖像上面覆蓋若干熱圖，以此來解釋機器為何會盯著某個位置看，” Michalski這樣說道。

 

 

完全透明并不總是對每個人都有利。對某些人工智能供應商而言，公開人工智能決策方式的細節無異于公開秘密。

 

數字服務咨詢公司Nerdery的數據科學總監Justin Richie表示：“這些軟件公司有點自私，它們認為所有人都圖謀不軌，都想竊取它們的點子。有些供應商之所以讓客戶走馬觀花是因為這樣他們就不會暴露自己的權重數據。而其它供應商則直接在其工具中展示可解釋性。”

 

Richie補充說，與其說這是技術限制不如說這是市場問題。隨著人工智能技術變得司空見慣，游戲規則也會發生改變。

 

制造由人工智能驅動的聊天機器人的LivePerson的首席技術官Alex Spinelli說，商用的現成算法往往缺乏關鍵的可解釋性功能。

 

Spinelli說：“有些更好的產品確實具有檢查和審計功能，但并非全部產品。可供參考的標準并不多。可審計性、可追溯性以及就人工智能為何做出決策的原因而對算法進行查詢的能力，這些都是罕見的功能。”

 

Spinelli說，LivePerson編寫自己的具備可解釋性的算法，或者使用具備這些功能的開源工具，例如百度的Ernie和谷歌的Bert開源自然語言處理算法。

 

 

Spinelli說，但是業界正在極力使人工智能系統更加透明。例如，LivePerson參與了EqualAI計劃，致力于通過制定準則，標準和工具來預防和糾正人工智能中的偏見。

 

現有的標準機構也一直在努力解決這些問題。例如，紅帽(Red Hat)的業務自動化開發經理Edson Tirelli說，紅帽正在使用旨在幫人工智能和機器學習系統提高透明度的多個標準。

 

Tirelli說：“這些標準有助于‘打開黑匣子’。”

 

其中一個標準來自Object Management Group的決策模型和注釋(Decision Model and Notation)標準。

 

Tirelli說，這個相對較新的標準有助于填補空白，即人們在理解公司決策過程中所涉及的一切步驟。“你可以跟蹤該決策或業務流程的每個步驟，一直到人工智能部分。”

 

這些標準還使在供應商平臺之間遷移流程和模型變得更加容易。但是除了紅帽之外，只有少數公司支持決策模型和注釋。

 

Tirelli補充說，Object Management Group的商業流程模型和注釋標準得到了數百家供應商的支持。

 

Tirelli說：“幾乎所有的工具都支持這個標準，或同級標準，即分析的可移植格式(Portable Format for Analytics)。大體上所有可以創建機器學習模型的工具都支持該標準。”

 

Tirelli說，這些標準相互聯系，為可解釋的人工智能提供功能。

 

 

帕洛阿爾托研究中心(PARC)的研究人員Mark Stefik表示，隨著人工智能用于執行更復雜的任務，可解釋性越來越難實現。

 

Stefik說：“如果理由給出5000條規則，那將無濟于事。”

 

例如，帕洛阿爾托研究中心一直在為國防高級研究計劃局(DARPA)做一個項目，該項目包括對用于護林員救援任務的無人機進行訓練。對簡單的任務而言，要知道何時信任該系統，比要知道在復雜的山區或沙漠場景中的專家級任務要容易得多。

 

Stefik說：“我們在這方面取得了很大進展，但我不認為我們對所有類型的人工智能都有解釋性。”

 

最后的挑戰，也是最困難的挑戰，即常識。

 

滑鐵盧大學人工智能領域的加拿大研究主席Alexander Wong說：“因果推理可望而不可及，這就是我和其他人努力的方向。”

 

Stefik說，如今，計算機系統很難將關聯性和因果關系區分開來。鬧鐘的響聲會導致太陽升起嗎?

 

Stefik說：“我們想找到將虛假的關聯性與真實的因果關系區分開來的方法。甚至訓練人來做正確的因果推理也是很難的。這是一個非常困難的問題。”

 

Stefik說，這種通過一系列因果關系進行思考的能力是人們談論通用人工智能時所談論的內容。

 

Wong補充說：“我們在這個方向上取得了不錯的進展。但是，如果我不得不猜測的話，我會說，因果推理的最終形式將在一個時限內實現。”

 

但是，即使可解釋的人工智能仍處于起步階段，這并不意味著公司應該被動等待。

 

Wong說：“即使在目前的形式中，可解釋性對許多商業流程仍然非常有用。如果你現在就開始使用這個形式，那么你所創建的系統將很超前，并且更加公平。談到負責任的人工智能時，我的核心信念之一是，可解釋性和透明性是人工智能的關鍵組成部分。”

 

版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。