Multi30K

新的扩散框架增强了多模态机器翻译的鲁棒性

研究人员开发了D2P-MMT，一个新颖的基于扩散的框架，旨在通过提高对不相关视觉信息的鲁棒性来改进多模态机器翻译（MMT）。该方法在训练过程中利用双分支提示策略，结合真实图像和重建图像以促进跨模态交互。一项关键创新是分布对齐损失，它确保了两个分支之间的一致性，弥合了训练和推理之间的差距。在Multi30K数据集上的实验表明，D2P-MMT的性能优于现有的最先进方法。