一项近期研究考察了Qwen2-VL-2B-Instruct和SmolVLM-Instruct这两个小型视觉语言模型在真实图像退化下的置信度信号。研究发现,在自然语言中声明的置信度与内部标记概率之间存在显著差异。虽然内部概率被证明是更可靠的错误指标,但在面对严重曝光不足时,两个模型都难以准确评估其置信度,导致准确性大幅下降,而置信度信号变化甚微。 AI
影响 凸显了当前小型视觉语言模型在可靠不确定性估计方面的局限性,这对于安全部署至关重要。
排序理由 学术论文,详细介绍了模型能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →