PHASEFUSION

视频语言模型评估受帧相位和选项顺序影响而存在缺陷

一篇题为“Stable Scores, Unstable Answers”的新研究论文强调了视频语言模型评估方式中的一个关键缺陷。研究表明，帧相位和选项顺序的选择显著影响了这些模型的准确性得分，导致结果不一致。研究人员提出了一种名为 PHASEFUSION 的方法来缓解这一问题，通过解码多个偏移网格并平均选项后验概率，从而提高准确性并减少答案变异性。