研究人员开发了一种名为多令牌局部注意力（MTLA）的新方法，以提高多模态大型语言模型（MLLM）对其局部预测的置信度。这种无需训练的、事后评分方法可以衡量预测的令牌在多大程度上关注它们声称的特定区域，从而提供比传统令牌对数概率更强的信号。MTLA在减少跨多种模态和任务的幻觉方面表现出显著的改进，并且在用于重新排序时，它能显著提高通用MLLM在目标检测等任务上的性能。 AI
影响 该方法可以显著提高MLLM在需要精确本地化任务中的可靠性，减少错误并增强其实际应用。
排序理由 该集群包含一篇详细介绍多模态大型语言模型新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.05978v1 Announce Type: cross Abstract: Multimodal large language models can emit localized predictions, bounding boxes for objects and temporal windows for video and audio events, but they hallucinate these regions prolifically. The model's own token log-probabilities …
Multimodal large language models can emit localized predictions, bounding boxes for objects and temporal windows for video and audio events, but they hallucinate these regions prolifically. The model's own token log-probabilities are nearly uninformative: they conflate grounding …