研究人员开发了一种新颖的协议，用于评估冻结的视觉语言模型（VLMs）如何响应在对象-Token级别进行的编辑，而无需直接的图像输入。这个无答案密钥的协议表明，显式的编辑教学，而不是标准的VQA训练，对于使VLMs能够处理这些Token级别的修改至关重要。研究发现，模型响应这些编辑的能力受到Token的清洁度和密度的影响，并且这种无图像的方法与传统方法相比，保留了很大一部分VQA性能。 AI
影响 这项研究可能带来更有效和可解释的AI模型编辑和查询视觉场景的方法。
排序理由 这是一篇详细介绍视觉语言模型新协议和发现的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Answering what-if queries about a scene with a VLM usually means injecting the assumption as text or repainting the scene with a generative model. We instead move the edit to the representation level, before the model input. The image is abstracted into a set of object-level toke…
arXiv:2609.03429v1 Announce Type: new Abstract: Answering what-if queries about a scene with a VLM usually means injecting the assumption as text or repainting the scene with a generative model. We instead move the edit to the representation level, before the model input. The ima…