Spherical Soft-Masking

Diffusion language models research tackles efficiency and confidence gaps · 6 sources tracked

近期研究探索了提高扩散语言模型（DLM）效率和有效性的方法。一篇论文研究了在解码过程中何时真正需要无分类器引导（CFG），认为其益处是特定于提示的，并且通常集中在过程的早期。另一项研究介绍了 Archer，一种无需训练的 KV 缓存方法，通过自适应地重用提示隐藏状态来加速 DLM 中的回滚能力。进一步的研究解决了 DLM 中的“表示-置信度差距”问题，即内部准确性信号与外部置信度分数不一致，并提出了一个轻量级工具来改进答案排名。此外，…