Context-Aware Learning for Neural Machine Translation. Sébastien Jean, Kyunghyun Cho. ArXiv 1903. [PDF]
动机
本文提出一个正则化项，鼓励模型利用上下文信息，从而提高篇章翻译结果。
方法
人们认为使用上下文可以提高篇章翻译，也就是使用上下文信息后译文翻译概率会更高。
这个不等式在token、sentence、data三个层次上都成立
本文在损失函数中加入一个正则化项，正则化项由三个max margin组成。
实验
（a）句子级别翻译，不利用上下信息
（b）利用随机上下文，随机上下文的期望跟不利用上下文的期望一样，所以使用上下文没有提升
（c）利用前文上下文，对比随机上下文有提升，并且跟没有利用上下文相差0.4
（d）鼓励利用前文上下文，跟没有利用上下文相差3.74，并且比（c）有提升