新的VLM评估框架揭示了重复提示下的不稳定性

一个名为Just Keep Prompting (JKP)的新评估框架已被开发出来，用于评估视觉语言模型（VLMs）在长时间对话中的稳定性。该框架采用对抗性否定和苏格拉底式审问等策略，在多个回合中挑战模型。对GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B的初步测试显示，虽然整体准确性可能不会发生剧烈变化，但模型表现出明显的不稳定性，正确答案会退步，而错误答案有时会恢复。研究发现，重复提示可能起到不稳定因素的作用，而非推理辅助，不同模型的性能差异很大。 AI

影响 强调了VLM在对话稳定性方面的关键局限性，表明当前的评估可能无法捕捉模型在压力下的实际表现。

排序理由 学术论文，详细介绍了一种新的VLM评估方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Adversarial Negation
• Context-Aware Socratic Summarization
• Gemini 2.5 Pro
• GPT-4o
• Just Keep Prompting
• Pure Socratic Interrogation
• Qwen3-VL-30B
• STAR benchmark
• Vision--Language Models

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →