关于神经网络机器翻译
关于神经网络机器翻译 神经网络机器翻译（NMT）是一种用于自动翻译的端到端学习方法，有很大的潜力可以克服传统基于词组的翻译系统的缺点。遗憾的是，NMT系统的计算成本是出了名的高，不管是在训练还是在翻译推理上都是如此，有时候在大型的数据集或者大的模型上成本更是高得离谱。也有一些作者指出，NMT 系统缺乏鲁棒性，尤其是当输入的句子包含很少的单词的情况下。这些问题的存在，阻碍了NMT在实际的部署和服务中的应用，因为实际应用中，准确率和速度都是至关重要的。在这项研究中，我们提出了GNMT（谷歌神经机器翻译系统），尝试解决以上难题。我们的模型包括了一个深度的 LSTM 网络，有8个编码层和8个解码层。从解码网络到编码网络中，既使用残差连接，也使用注意力连接。为了提升并行计算进而减少训练时间，我们的注意力机制把底层的解码器与顶层的编码器连接起来。未来加速最后的翻译速度，我们在推理计算的过程中采用了低精度的算法。为了改善棘手的单词缺乏的难题，在输入和输出中，我们都把单词分为多个有限的常见附属词单元（wordpieces）。这种方法很好地平衡了字母限定模型的灵活性与单词限制模型的有效性，从而自然地处理了少量单词的翻译情况，最终提升了系统的整体准确率。 我们的定向搜索技术采用了一个长度标准化的程序，并使用了一个coverage penalty，这种技术鼓励系统生成一个输出句子，这些句子绝大部分都会覆盖到源句子中的单词。为了直接地优化BLUE翻译BLUE的得分，我们考虑使用增强学习来修正模型，但是我们发现，在BLEU中得分的增高并不会反映在人工测评上。在WMT'14 英语到法语和英语到德语的基准中，GNMT 获得了目前最有竞争力的结果。在一个包含独立样本句子的数据集中，使用人类并行的测评，与谷歌基于词组的生成系统相比，神经机器翻译系统能将翻译的错误率平均减少60%。 |
相关阅读： |
