Qwen Target

新的审计方法评估MLLM中的视觉令牌溯源

一篇新的研究论文介绍了一种审计多模态大型语言模型（MLLM）中视觉令牌空间溯源的方法。该方法超越了传统的准确性指标，以评估模型正确答案是否可以追溯到支持它的特定视觉区域。研究表明，虽然准确性可能保持稳定，但不同的剪枝策略会导致可追溯性水平的巨大差异，从而影响模型的可靠性。提出的审计方法还显示出在批处理预填充速度和减少内存使用方面有潜在的收益，尽管有利的验证点不能保证任务通用压缩。