English(EN) Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference

Step-dLLM 通过自适应稀疏注意力提升扩散 LLM 推理速度

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-04 05:00

研究人员开发了 Step-dLLM，一种在推理过程中提高扩散大型语言模型 (dLLM) 效率的新颖方法。与自回归模型不同，dLLM 不能使用 KV 缓存并在每一步重新计算注意力图，导致成本高昂。Step-dLLM 通过在锚点步骤自适应地刷新稀疏注意力掩码并采用头部自适应预算来优先处理注意力集中的头部来解决此问题。这种方法通过融合的 Triton 内核实现，在 LLaDA-1.5 和 Dream-7B-Instruct 等模型上实现了显著的加速，无需重新训练，同时与现有的稀疏注意力方法相比，还改善了准确性-延迟权衡。 AI

影响这种新方法可以显著降低运行扩散 LLM 的计算成本，使其在各种应用中更易于访问和更高效。

排序理由研究论文，详细介绍了一种提高 LLM 推理效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 40 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 研究论文，详细介绍了一种提高 LLM 推理效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Zhichen Zeng, Xichong Zhang, Junpan Wu, Yifei Zuo, Chi-Chih Chang, Jiayi Wang, Maohua Nie, Ji Liu, Ang Li, Banghua Zhu · 2026-11-04 05:00

Step-dLLM：用于高效扩散 LLM 推理的自适应步长感知稀疏注意力

arXiv:2611.01320v1 Announce Type: new Abstract: Diffusion large language models (dLLMs) generate tokens in parallel via iterative denoising, but their bidirectional attention prevents the KV caching used by autoregressive models and recomputes the full attention map at every step…

本文如何被排名

报道来源 [1]

Step-dLLM：用于高效扩散 LLM 推理的自适应步长感知稀疏注意力

相关实体

相关话题