对用于评估视觉语言模型（VLM）幻觉的POPE基准进行的一项新审计显示，Token读出的选择会显著影响性能。研究人员发现，LLaVA-1.5-7B模型在对抗性分割上的F1分数，根据评估代码是否正确处理了由SentencePiece分词产生的“ Yes”和“ No”等带空格前缀的Token，可能会变化超过6个点。这种协议层面的混淆，而非模型特定的幻觉缓解措施，似乎解释了先前研究中报告的大幅提升，因为在其他VLM上也观察到了类似的问题。 AI
影响 强调了在VLM研究中标准化评估协议的必要性，以确保可靠的性能指标。
排序理由 该集群包含一篇详细阐述对现有基准进行系统审计的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.25964v2 Announce Type: replace-cross Abstract: We set out to reproduce a recent hallucination-mitigation result on the POPE benchmark. The LLaVA-1.5-7B baseline we measured, 82.21 F1 on the adversarial split, sat 1.21 to 8.67 points above the adversarial baselines we p…
Evaluation readout choices for vision-language models on the POPE benchmark cause large F1 shifts, revealing that unreported token lookup protocols and quantization confound reported hallucination-mitigation gains.