​ 预训练技术，比如 BERT等，在自然语言处理领域，尤其是自然语言理解任务取得了巨大的成功。然而目前预训练技术在文本生成领域，比如机器翻译领域，能够取得什么样的效果，还是一个开放问题。CTNMT 这篇论文，从三个方面介绍这个问题：

1. 预训练技术，比如 BERT或者 GPT 在机器翻译中的应用存在什么挑战？
2. 针对这些调整，需要怎么最大程度利用预训练知识？
3. 预训练和机器翻译的融合还有什么潜力？