实体 Step-dLLM

Step-dLLM

PulseAugur coverage of Step-dLLM — every cluster mentioning Step-dLLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_340139 · Nov 4 · 05:00

Step-dLLM 通过自适应稀疏注意力提升扩散 LLM 推理速度

研究人员开发了 Step-dLLM，一种在推理过程中提高扩散大型语言模型 (dLLM) 效率的新颖方法。与自回归模型不同，dLLM 不能使用 KV 缓存并在每一步重新计算注意力图，导致成本高昂。Step-dLLM 通过在锚点步骤自适应地刷新稀疏注意力掩码并采用头部自适应预算来优先处理注意力集中的头部来解决此问题。这种方法通过融合的 Triton 内核实现，在 LLaDA-1.5 和 Dream-7B-Instruct 等模型上实现了显…