LIRSeg

新的LIRSeg方法通过潜在令牌增强多模态LLM推理能力

研究人员开发了LIRSeg，一种用于多模态大语言模型推理分割的新方法，该方法用可学习的潜在令牌取代了显式的思维链推理。该方法旨在通过减少冗余文本令牌的注意力干扰来提高准确性和效率。LIRSeg采用了一个包括空间对齐和强化学习的两阶段训练过程，并结合信息论机制来增强潜在令牌的信息量。实验表明，LIRSeg在ReasonSeg、MUSE和MMR等基准测试中显著优于基线方法，同时大幅减少了所需的推理令牌数量。