DSB

新的 DSB 方法优化扩散 LLM 调度，以提高质量和效率

研究人员推出了一种用于扩散大型语言模型 (dLLMs) 的新型调度方法——动态滑动块 (DSB)，旨在同时提高生成质量和推理效率。与固定的块调度不同，DSB 根据语义难度动态调整块大小，防止过早承诺并优化处理时间。该方法还包含 DSB Cache，一种补充性的 KV 缓存机制，旨在通过 DSB 进一步提高效率。实验表明，这种方法在各种模型和基准测试中始终能产生更好的结果。