隨著人工智能系統變得越來越普遍，一些小錯誤造成危險后果的幾率也在上升。比如，美國麻省理工學院的科學家最近就騙過了谷歌的一個人工智能程序，讓程序錯把一只塑料玩具龜當成一把來福槍。要是未來的機器人警察或者士兵犯下這種錯誤，很可能將會引發悲劇。人工智能系統由數十億個虛擬“腦細胞”構成，現在，研究者正在研發新工具，以便找出其中可能隱藏的“bug”。

很多圖像識別程序、自動駕駛系統以及其他形式的人工智能，都使用了人工神經網絡，研究人員把數據輸入到該網絡中被稱作“神經元”的部分，然后依靠這些神經元彼此合作來解決問題——諸如辨別出路上的一個障礙物。人工神經網絡的“學習”方式是，不斷調整神經元間的連接，嘗試不同的解決方法。經過一段時間的學習，這套系統就能找出哪種神經連接模式效果最好。之后就會模擬人類大腦的學習過程，把這些模式作為默認設置。

美國哥倫比亞大學的計算機科學家楊俊鋒(Junfeng Yang)認為，這項技術面臨的一個關鍵挑戰是，開發者通常并不知道神經網絡是如何決策的，這導致出錯后很難找出原因。2017年10月，在上海舉行的一場專題討論會上，楊俊峰和他人共同展示了一項新研究。

楊俊峰和同事開發了一個名叫DeepXplore的程序，可通過逆向分析人工智能系統的學習過程，尋找系統中的漏洞。該程序會把真實世界中各種難以分辨的場景，輸入某個神經網絡進行測試，并且會在網絡判斷錯誤時予以告知，這樣神經網絡就能自行糾錯。比如，DeepXplore能夠判斷，某個無人駕駛系統在接收到攝像機傳入的照片后，是否會錯誤地把車導向行人。該調試工具還能監測神經網絡中哪些神經元處在活躍狀態，并且能單獨測試每個神經元。楊俊峰說，之前的人工智能調試工具無法單獨檢查每個神經元。

對15個最先進的神經網絡——包括一些用于自動駕駛和檢測計算機惡意軟件的人工智能系統進行測試后，DeepXplore新發現了數千個技術遺漏。DeepXplore把人工智能系統整體的準確率提升了1%至3%，某些系統的準確率甚至達到了99%。美國芝加哥大學計算機科學家盧山(未參與此項新研究)稱，DeepXplore可以幫助科學家開發出“更準確、更可靠的”神經網絡。“這項技術對很多研究性學科和人們的日常生活都將產生積極的作用”。