但在便捷高效的表象之下,人工智能框架也存在許多問題與風險,因此框架安全研究近年來逐漸引起業界重視。但如今人工智能安全研究的關注點較為局限,且框架安全檢測仍依賴于傳統漏洞挖掘技術(如模糊測試等)發現,并嚴重依賴人工分析。針對以上問題,天津智慧城市數字安全研究院進行了大量研究,最終自主研發了人工智能框架漏洞威脅感知系統AIFater,并在第六屆世界智能大會上做出成果展示。
本系統包含針對云端框架的安全性檢測單元QSand以及針對終端框架的安全性檢測單元FBFuzz。兩款單元模塊可以全面覆蓋主流的人工智能框架,如Tensorflow、PyTorch等。此外,人工智能框架漏洞感知系統中內置豐富的定制化漏洞檢測規則,可以高效地對已知攻擊做出準確判斷,為人工智能的安全性提供了有力的保障。
本系統對谷歌Tensorflow、MetaPytorch等國內外多家廠商的主流人工智能框架開展了安全測評,發現漏洞180余個,團隊幫助各廠商對漏洞進行了修復,并獲得了各個廠商的致謝。其中發現谷歌Tensorflow框架漏洞上百個,包括嚴重漏洞6個、高危漏洞27個、中危漏洞42個。系統能夠高效、并發、精確地發現框架中存在的未知安全風險,對AI框架安全研究有重大意義。