Strategy of Multi-Scale Perception

新的SMSP框架增强了多模态大语言模型对视觉错觉的感知能力

研究人员开发了一个名为多尺度感知策略（SMSP）的新框架，以解决多模态大语言模型（MLLMs）在面对视觉错觉时的脆弱性。这些模型常常难以处理人类一眼就能看穿但它们却无法察觉的隐藏图案的图像，这归因于高频注意力偏差。SMSP作为一种即插即用的解决方案，通过抑制分散注意力的信号，模仿人类视觉感知，从而提高了MLLMs检测隐藏图案的能力。实验表明，在各种MLLMs上性能显著提升，其中一个模型的准确率在错觉图像上的表现从13.0%提高到84.0%。