Spatio-Temporal Token Veto

新的ST-Veto方法将dMLLM的推理准确率提高了9%

研究人员推出了一种新颖的免训练方法ST-Veto，旨在增强扩散多模态大语言模型（dMLLMs）的推理能力。该方法利用了模型在每个扩散步骤中同时处理所有令牌位置的能力。ST-Veto通过使用置信度动态的二阶泰勒预测来识别和否决时间上不稳定的令牌，并通过过滤基于图像注意力质量的弱基础令牌来工作。在各种dMLLMs和多模态推理基准测试中，ST-Veto均表现出持续的改进，在不产生额外训练或生成成本的情况下，将准确率提高了高达9%。