阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》(灵活性陷阱:重新思考扩散语言模型中任意顺序的价值)荣获2026年ICML杰出论文奖。该研究挑战了扩散大型语言模型(dLLMs)受益于任意token生成顺序的普遍观点。研究表明,这种灵活性会导致“熵退化”,从而阻碍推理能力,尤其是在需要逻辑推理的任务中。研究人员提出了一种名为“JustGRPO”的简化方法,该方法在强化学习过程中强制执行从左到右的生成顺序,从而提高了推理性能并保持了推理速度。 AI
影响 挑战了dLLM架构中的一个核心假设,可能简化未来的模型开发并提高推理性能。
排序理由 学术论文在顶级人工智能会议上获得最高奖项。
- Alibaba
- Gemini Diffusion
- GPT
- GRPO
- GSM8K
- HumanEval
- JustGRPO
- Qwen
- Renmin University of China
- The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models
- Tsinghua University
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →