Facebook近期宣布面向全球推出NMT(神經網絡機器翻譯,Neural Machine Translation)。從基于短語的翻譯模型轉向NMT,使得Facebook可以支持超過兩千種的語言互譯,并達到了每天45億次的翻譯量。據Facebook介紹,NMT使得BLUE分值增加了11%。BLEU是一種廣為使用的翻譯評分機制。
撰寫該博文的工程師Juan Miguel Pino、Alexander Sidorov和Necip Fazil Ayan使用Caffe2實現了2.5倍的性能提升。Caffe2是Facebook于今年早期開源的一個機器學習框架。
NMT實現如此質量翻譯的關鍵,在于它使用的RNN(Recurrent Neural Network)是一種具有注意機制(Attention)的Seq2Seq(Sequence-to-Sequence) LSTM(long short-term memory)。這樣的系統充分考慮到了原始語句的上下文以及該語句之前的全部內容,用于生成更為準確的翻譯內容。這使得在翻譯中可以使用長距離調序規則(Long-distance Reordering),解決了一些存在于英語-土耳其語和英語-希臘語等語言互譯中的問題。
LSTM的注意機制(Attention)在處理翻譯中未知詞匯上非常有用,它將翻譯軟對齊到由訓練數據構建的雙語語料庫,并使用了削減詞匯量(Vocabulary reduction)方法,在避免對翻譯質量產生顯著影響的情況下,有效地降低了計算時間。
FB Learner Flow框架用于快速并準確地調優每一種語言互譯所使用的參數。3.7%的英語-西班牙語互譯BLEU分值增加來自于該框架的貢獻。
作為項目的一部分,Facebook將RNN貢獻到Caffe2項目中,并作了開源。同時,Facebook的FAIR(Facebook’s Artificial Intelligence Research)研究團隊已經公開發表了他們在機器翻譯中使用CNN(convolutional neural networks)的方法。
Google在2016年就發布了用于Google翻譯的NMT,先于Facebook此次發布達多個月。而在一個月前,Google宣布了Multimodel神經網絡模型這一突破性進展。
查看英文原文: Facebook Transitioning to Neural Machine Translation