Information-Guided Frontier Decoding

新的解码策略提升了多模态语言模型的性能

研究人员推出了一种新颖的扩散多模态语言模型（dMLLM）策略——信息引导的前沿解码（IGFD）。与以往优先考虑局部易于生成标记的方法不同，IGFD根据标记的置信度、邻域的不确定性以及结构承诺风险来对候选标记进行排序。这种方法鼓励早期承诺可靠的语义锚点，同时延迟不太关键的结构标记，从而在解码过程中增强上下文支持。IGFD无需额外的训练或计算开销，并在多模态理解、推理、基础构建和幻觉等各种基准测试中展示了持续的性能提升。