Google去年晚些時(shí)候宣布他們已經(jīng)將機(jī)器學(xué)習(xí)應(yīng)用到谷歌翻譯服務(wù)中，得到的神經(jīng)網(wǎng)絡(luò)模型可以實(shí)現(xiàn)"Zero-Shot"翻譯。
Zero-Shot翻譯是指對(duì)不存在顯式訓(xùn)練或者映射的語言對(duì)之間短語的翻譯。當(dāng)使用中介語言作為路徑對(duì)以前未進(jìn)行直接互譯訓(xùn)練的語言或短語進(jìn)行翻譯時(shí)，經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)得到的效果讓研究人員也很驚訝。研究人員指出，新系統(tǒng)的動(dòng)態(tài)數(shù)據(jù)可視化為不同語言間的共享語義表示或者中介語言提供了早期證據(jù)。這也是更高效的翻譯程序全部由神經(jīng)網(wǎng)絡(luò)自己產(chǎn)生的證據(jù)。
過去10年間，谷歌翻譯已經(jīng)從幾種語言發(fā)展為支持103種語言，每天翻譯超過140億單詞。應(yīng)用神經(jīng)網(wǎng)絡(luò)來提高翻譯的準(zhǔn)確度和效率的動(dòng)機(jī)是神經(jīng)網(wǎng)絡(luò)在很多其他領(lǐng)域的成功。
這一發(fā)現(xiàn)的關(guān)鍵問題是，是否可以在這樣一些語言對(duì)之間進(jìn)行翻譯：它們之前從未配對(duì)，但是具有一些輔助路徑進(jìn)行連接，例如英語到韓語，韓語到日語，然后從英語推測(cè)日語。
谷歌團(tuán)隊(duì)聲稱，他們可以在不改變核心翻譯模型的情況下實(shí)現(xiàn)該模型，其中包括編碼器、解碼器和注意力（Attention）。GNMT（Google Neural Machine Translation System，谷歌神經(jīng)翻譯系統(tǒng)）的一些細(xì)節(jié)表明它是使用雙向遞歸神經(jīng)網(wǎng)絡(luò)來對(duì)傳遞到解碼器的單詞進(jìn)行編碼以預(yù)測(cè)目標(biāo)語言單詞，但是它與最近發(fā)表的論文中的Zero-Shot翻譯模型的相似點(diǎn)和不同點(diǎn)還不明確。Google聲稱：
...與Google的基于短語的翻譯系統(tǒng)相比，GNMT的翻譯錯(cuò)誤平均減少了60%...在WMT'14英語到法語和英語到德語的基準(zhǔn)測(cè)試中，GNMT得到了與目前最好成績相近的結(jié)果。通過對(duì)一組孤立的簡單句子進(jìn)行人為并行評(píng)估，與Google的基于短語的翻譯系統(tǒng)相比，它將翻譯錯(cuò)誤平均減少了60%。
輸入單詞用目標(biāo)語言標(biāo)記，而不是源語言。Google注意到：
不指定源語言具有潛在的缺點(diǎn)，也就是在翻譯來自不同源語言具有相同拼寫但不同含義的單詞時(shí)，可能產(chǎn)生歧義，但是優(yōu)點(diǎn)是其更加簡單，并且我們可以通過代碼切換來處理輸入。我們發(fā)現(xiàn)，在幾乎所有的情況下，上下文可以提供足夠的語言信息來生成正確的翻譯。
Zero-shot網(wǎng)絡(luò):
...其中包括由8個(gè)編碼器層和8個(gè)解碼器層組成的深度LSTM網(wǎng)絡(luò)，通過注意力（Attention）和殘差（Residual）連接...對(duì)從未進(jìn)行直接互譯訓(xùn)練的語言對(duì)執(zhí)行隱式連接，這說明遷移學(xué)習(xí)和Zero-Shot翻譯對(duì)神經(jīng)翻譯來說是可能的。
雖然翻譯質(zhì)量的改善已經(jīng)取得立竿見影的效果，但可拓展性依然是今后持續(xù)努力的重點(diǎn)，其目標(biāo)是支持所有的103種語言。GNMT系統(tǒng)的公開可用的產(chǎn)品版本已經(jīng)支持最近添加的16種語言中的10種。
閱讀英文原文：Zero-Shot Translation with Google Neural Machine Translation System
京公網(wǎng)安備 11010502049343號(hào)