研究人员推出了一种新颖的 CoTA++ 框架，旨在解决扩散式多模态大语言模型 (dMLLMs) 中的“重复诅咒”现象。这种诅咒会导致 dMLLMs 在相邻位置生成重复的 token，从而降低响应质量。CoTA++ 通过重塑注意力路由、为缓存实现感知解码的刷新机制以及使用上下文 token 熵来指导投票来解决此问题。在多个 dMLLMs 和缓存后端上进行测试，CoTA++ 将重复率从近 100% 显著降低到 17% 以下，同时恢复了准确性并保持了缓存加速。 AI
影响 解决了 dMLLMs 中的一个关键故障模式，有可能提高生成内容的可靠性和质量。
排序理由 详细介绍改进 LLM 性能的新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
