Davet

新的DAVET框架优化扩散视觉语言模型

研究人员开发了DAVET，一个旨在优化扩散视觉语言模型（dVLMs）效率的新框架。这种无需训练的方法可以动态地在去噪步骤中分配视觉证据，认识到模型在生成过程中对视觉信息的需求是不同的。通过根据操作需求和生成状态调整证据分配，DAVET旨在降低计算成本，同时不显著影响输出质量。在LLaDA-V和LaViDa等模型上的评估显示，平均速度提升了1.55倍，性能下降极小。