Propose and Attend

新的MTLA方法可提高MLLM置信度并减少幻觉 · 跟踪到2个来源

研究人员开发了一种名为多令牌局部注意力（MTLA）的新方法，以提高多模态大型语言模型（MLLM）对其局部预测的置信度。这种无需训练的、事后评分方法可以衡量预测的令牌在多大程度上关注它们声称的特定区域，从而提供比传统令牌对数概率更强的信号。MTLA在减少跨多种模态和任务的幻觉方面表现出显著的改进，并且在用于重新排序时，它能显著提高通用MLLM在目标检测等任务上的性能。