在本次的SQuAD競賽中,金融壹賬通GammaLab的深度學習模型的閱讀理解能力非常接近人類水平,可以閱讀任何文章并回答問題,精準匹配準確度可達到83.435%,模糊匹配準確度可達到85.992%,而人類水平是86.831%(精確匹配)和89.452%(模糊匹配)。
SQuAD(StanfordQuestion Answering Dataset)被譽為自然語言處理領域金字塔尖的比賽,旨在解決智能搜索的任務,促進智能搜索引擎的發展。
也正因為是業內公認的機器閱讀理解標準水平權威測試,幾乎所有擁有搜索業務的公司都會參加這個比賽來驗證自身的實力。
來自谷歌、微軟亞研院、阿里達摩院、科大訊飛、IBM以及復旦大學等展開角逐。
2016年,斯坦福大學從維基百科上隨機選取了500多篇文章,并進一步細分成兩萬多個段落。隨后采用眾包的方式,由人類閱讀這些文章后,為每個段落提出五個問題,并對段落內的答案進行人工標注,搭建了該項競賽的數據集1.1。
今年6月3日,斯坦福NLP團隊對外宣稱, 機器閱讀理解數據集1.1完成一波更新,已搭建完成SQuAD 2.0。相較于SQuAD 1.1中的10萬問答,SQuAD 2.0又新增了5萬個人類撰寫的問題,而且問題不一定有對應答案。
在SQuAD1.1數據集當中,閱讀理解的主要難點是上下文的語義理解。所提問題的答案并不能靠簡單的近鄰或相似度對答案進行匹配,而是需要通過NLP的語義分析,在考慮前后文信息后從全文中尋找到最合適的答案位置。想要做好這一點,需要算法能力達到人類閱讀理解的思考水平。在此基礎上,SQuAD2.0中新增的無答案的混淆問題進一步提升了該任務的難度。一個問題所對應的段落中有一定概率不存在正確結果,即要算法判斷是否能夠回答,并在此基礎上準確回答問題。
不止是成功斬獲重磅級國際搜索競賽(SQuAD)第一名,金融壹賬通加馬人工智能研究院GammaLab成立不到兩年,其實已經取得累累碩果。
在微表情國際權威評測OMG微表情競賽(One Minute Gradual Emotion Challenge)公布的評測排行榜中,金融壹賬通GammaLab的微表情識別技術取得重大突破,在情緒強烈程度(Arousal)和正負傾向(Valence)兩方面均以最高分的成績位列榜首,獲得世界第一的排名;在2018 EmotioNet 國際面部動作單元(Action Unit, 簡稱AU)識別競賽上,金融壹賬通GammaLab以94.46%的準確率獲得世界第一的排名。
如今,GammaLab作為平安金融壹賬通旗下人工智能研究院,已擁有超過350位精專于大數據、人工智能等領域的專家,累計申請專利技術200多項,發表論文10余篇,推出了多項影響廣泛的人工智能場景化應用。
比如,金融壹賬通GammaLab推出了一款智能音箱——Gamma智能銷售助手。搭載最新的機器閱讀理解技術, 無需任何人工干預,上傳一篇保險文檔即可進行任何問題的語音問答交互,閱讀理解模塊只需秒級即可完成文檔的理解,問答準確率為91.35%,平均業務時間可縮短30%。