Tina Khezresmaeilzadeh

Gemma-3-27B 在视觉语言模型中表现出脆弱的现实监控能力

研究人员开发了一种新方法来测试视觉语言模型（VLMs）的现实监控能力，特别是它们区分内部生成概念和实际图像内容的能力。研究发现，在测试的六个 VLM 中，只有 Gemma-3-27B 能够可靠地识别注入的概念，尽管其来源归因能力很脆弱。这种失败模式在普通字幕生成中也观察到，注入的对象出现在了相当比例的真实照片字幕中，这凸显了在评估多模态自我报告时，同时评估内容和报告来源的必要性。