Metric-based Loss Weighting

新的训练方法提高了LLM在机器翻译中的视觉敏感度

研究人员开发了一种名为“基于度量的损失加权”的新训练方法，以增强大型语言模型（LLM）在多模态机器翻译中的视觉敏感度。该技术通过使用点互信息（PCXMI）度量来识别可以从伴随图像信息中受益的标记，并增加这些标记的损失函数。当应用于图像引导机器翻译任务时，与标准微调相比，该方法在CoMMuTE数据集上的准确率提高了多达7个百分点，同时保持了通用的翻译性能。