人工智能正滲透到我們現代生活的每一個角落，人工智能可以在Facebook上給你發布的圖片上的朋友貼上名字的標簽，或者幫你選擇在Instagram上看到的圖片，而材料科學家和NASA研究人員也開始使用人工智能來幫助發現新科學和太空探索。

但這一技術存在一個核心問題，無論是在社交媒體上還是在火星漫游車中使用過程中，因為建造它的程序員都不知道人工智能做出每一個決定的原因。

現代人工智能仍是一種新事物，在過去的5年，大型科技公司對于人工智能的投資和研究才剛剛開始。而在此之前，已有幾十年歷史的關于人工智能的理論最終在2012年得到了證實。受人腦的啟發，一個人工神經網絡依賴于“神經元”之間的成千上萬個微小的連接，或者是小范圍一串串的數學計算，這類似于大腦中神經元的連接系統。但這種軟件架構給我們帶來了一種新的權衡：由于數百萬個連接的變化如此復雜和微小，研究人員無法準確地確定正在發生的連接結果，他們只會得到一個輸出的結果。

“隨著機器學習在社會變得越來越普遍而且風險越來越高，人們開始意識到我們不能把這些系統當作可靠和公正的保險箱，”Hanna?Wallach在一封電子郵件中告訴Quartz，他是微軟的高級研究員，也是會議的發言人。“我們需要了解它們內部發生了什么，以及它們是如何被使用的。”

執行關鍵任務的人工智能

在美國國家航空航天局的噴氣推進實驗室中，人工智能能夠讓火星探測器在探索未知行星表面時能夠半自主地運行。人工智能還被用于進行梳理探測器在傳回地球時拍攝的數千張照片的過程中。

Kiri Wagstaff是JPL的一名人工智能研究人員和發言人，他說，由于每一個決定都帶來了巨大的風險，在使用人工智能之前，我們需要完全理解它的每個決定。

“如果在火星軌道上有一艘宇宙飛船，這代表說它就在2億英里之外，并且需要數億美元的費用，甚至可能是十億美元。如果出了什么問題，一切都難以挽救了。”Wagstaff說：“不花費大量的金錢的話是沒有辦法修復、訪問、或者替換這些東西的。因此，如果我們想讓機器學習發揮作用，那么讓機器執行這些任務的人需要了解它需要做什么，為什么要去做這個行為，因為如果機器人不知道自己為什么要做出選擇，人們為什么會信任它來控制他們昂貴的火星探測器或軌道飛行器呢？”

Wagstaff正致力于通過NASA的各種航天器在太空中捕捉到的圖像建造人工智能對它們進行分類，由于這些圖片的數量可以達到數百萬，所以如果人工智能在這龐大的數據庫中識別出有趣的照片，那么我們可以節省很多時間來找到我們想要看到的這些照片——但前提是人工智能知道一個“有趣”的圖像是什么樣的。

對Wagstaf而言，他覺得理解人工智能的目的是實現特定算法的關鍵。如果執行機器學習過程中在如何使用圖像方面存在計算錯誤，那就意味著數據轉移的任務成本價值數百萬美元以上。

Wagstaff說：“當你看到一個電腦說‘這很有趣，讓我看一看這張圖片’時，你就會處于不確定的狀態，因為你自己沒有完整的看過這百萬張照片，你不知道這些哪些是有趣的，或者為什么這是有趣的。”“圖片有趣是因為它的顏色，因為它的形狀，或者因為場景中物體的空間排列順序嗎？”

隱藏的知識

2007年，康奈爾大學的人工智能教授安德魯·戈登·威爾遜與一個團隊合作開發了一種新型PET掃描機。由于某些粒子在這臺機器上與像其他一般的粒子表現的不一樣，他的任務是追蹤某個粒子穿過一盒氙氣的過程。

他的顧問建議嘗試使用神經網絡來進行監測，而神經網絡在當時還是一種比較模糊的概念。利用這種技術，威爾遜能夠利用粒子發出的光將其定位在該盒氙氣中。

當他得到了他想要的答案之后，威爾遜表示利用該算法用來理解光如何表示粒子位置的內部規則之后，可能將會為接下來的研究開辟了一條新的道路。

威爾遜說：“在某種程度上，一個模型是我們觀察得出的理論，我們不僅可以利用模型進行預測，還可以更好地理解為什么這種預測方向是正確的，以及這些自然過程是如何運作的。”

解讀能力

不過微軟研究人員Wallach說，要在解釋性語言能力上開辟新領域，最大的挑戰之一就是怎樣簡單地定義它。

解讀能力是否意味著人工智能專家知道為什么Facebook數據的算法會向每個人展示一個特定的帖子，或者說，這是一種能讓你了解自己的方式？使用人工智能治療推薦系統的醫生是否需要知道為什么采用特定的建議治療方案，或者說我們還需要在醫院里創建另一個角色——人工智能監測人員？

Wallach稱解讀能力是一種潛在的構想：一種無法察覺的東西，但卻被測試了真實的人們如何正確或錯誤地使用人工智能系統。這不僅僅是提升算法觀察以及引擎運行的方式。

了解一種算法并不僅僅是為了防止局限性或確保你的火星漫游者不會從太空懸崖上掉下來，而是可能可以幫助人工智能研究人員建立更精確的系統。

優步公司的Yosinski說：“如果你不知道這個系統不工作的原因，要提高它的性能是相當困難的。”“通常情況下，如果你知道它為什么會工作失敗的話，最后必然會找到一個解決方案。”

為了弄清楚其中一種算法是如何思考的，谷歌正試圖對每次通過算法處理圖像時進行的數百萬次計算過程進行層層篩選研究。在NIPS大會上發表的一篇論文中，通過觀察樹皮和鳥的互動聯系，谷歌研究人員Maithra Raghu展示了她修復的之前有問題的啞鈴與機器人手臂之間的聯系。

當人工智能研究鳥類的圖像時，我們可以觀察到人工智能網絡中哪些神經元被激活，而Raghu能夠通過這些數據確定哪些神經元專注于鳥的叫聲或者集中在樹皮上，最后再把樹皮神經元關掉看看會有什么結果。取得這一成功意味著盡管人工智能是一個復雜的產物，但將神經網絡的工作轉化為人類所理解的東西并非是不可能的事情。

Wagstaff說：“在學校里，我們要求學生用自己的理解來證明他們學到的東西，并展示這些來證明他們的理解是正確的。”“現在我們希望機器也能做同樣的事情。”

（選自：quartz 編譯：網易見外編譯機器人 審校：付曾）