研究人员开发了一种名为“基于度量的损失加权”的新训练方法，以增强大型语言模型（LLM）在多模态机器翻译中的视觉敏感度。该技术通过使用点互信息（PCXMI）度量来识别可以从伴随图像信息中受益的标记，并增加这些标记的损失函数。当应用于图像引导机器翻译任务时，与标准微调相比，该方法在CoMMuTE数据集上的准确率提高了多达7个百分点，同时保持了通用的翻译性能。 AI
影响 增强了LLM在多模态任务中的能力，可能提高翻译准确性和对视觉上下文的理解。
排序理由 该集群包含一篇学术论文，详细介绍了提高LLM在特定任务上性能的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- CoMMuTE
- Image-guided Machine Translation
- Large Language Models
- Metric-based Loss Weighting
- Point-wise Cross-mutual Information
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
