Kesav Kumar Jayakumar

VLM幻觉基准受Token读出选择的干扰

对用于评估视觉语言模型（VLM）幻觉的POPE基准进行的一项新审计显示，Token读出的选择会显著影响性能。研究人员发现，LLaVA-1.5-7B模型在对抗性分割上的F1分数，根据评估代码是否正确处理了由SentencePiece分词产生的“ Yes”和“ No”等带空格前缀的Token，可能会变化超过6个点。这种协议层面的混淆，而非模型特定的幻觉缓解措施，似乎解释了先前研究中报告的大幅提升，因为在其他VLM上也观察到了类似的问题。