一篇新的研究论文探讨了视觉语言模型(VLM)在充当裁判根据提示选择图像时的可靠性。研究发现,一个4B参数的VLM的表现仅略好于随机猜测,并且表现出明显的偏向于选择第一个呈现的图像。即使是8B参数的模型,虽然偏见较小,但也需要仔细过滤其决策以确保质量。研究强调,当VLM裁判更新时,需要重新审计它们,因为它们的决策过程可能会发生变化。 AI
影响 突显了基于VLM的图像选择中潜在的不可靠性,建议在依赖这些模型作为裁判的应用中要谨慎。
排序理由 在arXiv上发表的研究论文,详细介绍了VLM性能的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →