机器翻译的最强王者和“神话”

2017年,谷歌Transformer在语言理解上的表现取得了突破性进步,从那时起,这一神经机器翻译模型成为研究和部署的主要模型。两年之后,依然没有任何新技术能挑战Transformer的王者地位,并且这一现状可能还要持续一些时间。

神经机器翻译(NMT)今天的主要研发趋势

机器翻译领域自适应 — 在翻译/本地化行业,神经机器翻译的一个主要问题是确保机器翻译引擎能自动适应不同领域。但是,这已成为一个恶性循环,到目前为止,每个领域自适应方法都有一些棘手的缺点 —— 从资源及时间过于密集到容易陷入神经网络的常见陷阱。

资源匮乏的语言 — 高品质的语料依然稀缺。例如,大多数亚洲语言资源不足。观察者注意到脸书开发的一个颇为吸引人的完全无监督的神经机器翻译模型,在短短18个月的开发中就将输出质量提高近三倍。

脸书研究的完全无监督的神经机器翻译模型,在短短18个月的开发过程中就将输出质量提高了近三倍,观察者认为“这个领域是最有前途的领域之一”。

联系上下文 — 研究人员面临的另一项挑战是为神经机器翻译输出增加上下文;也就是说,翻译时,不能单看当前句子,要联系上下文。“今天,所有神经机器翻译系统都是以句子为基础。我们知道这显然不够,如果你要翻译一个文件,你需要知道文件在说什么,你需要联系上下文。”观察者提到了联系上下文的NMT的2种方法,一种是参考先前翻译的句子,以它们为语境;另一种是Unbabel方法,即使用整个源文件中的重要关键字来改进翻译输出

BLEU评分 — 一种常见的“神话”是NMT厂商声称BLEU分数比Google AI或Facebook好五倍,这种比较毫无意义,因为BLEU分数通常源自比赛(例如,机器翻译会议),而这些比赛在限制条件下操作,训练数据、测试组合和目标都很有限,BLEU分数没有普遍代表性。

另一个“神话”,是一些厂商声称拥有自己的技术(而不是开源技术),言下之意,他们能更好地控制各个方面。

“坦率说,我认为这不对。相反,使用开源技术更好,因为有大量的研究人员在测试开源技术、改进它,并分享最新的前沿算法,而且你还可以自己修改其中的代码。在我们领域,没有人可以说闭源代码比今天的开源代码更好”

最后观察者提到“所有NMT产品的核心部分是控制错误出现的能力。这不仅包括输出的准确性和充分性,而且还涵盖风格转变 – 厂商可能希望NMT引擎自动适应人工翻译的某种风格。”

“我要指出的最大问题是我们缺少标准,我们需要有一些真正的基准,并能够进行比较。 如果我们缺少标准,我们就不能称之为一个成熟的行业。标准化是我们需要努力的重要下一步。”更多信息,请访问Slator参阅原文