PulseAugur
中
实时 19:20:15
English(EN) UC San Diego researchers have developed DFlash, a block diffusion model that drafts whole token blocks in a single pass for speculative decoding. The technique

DFlash 通过并行令牌块草拟加速 AI 推理 · 跟踪 2 个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

加州大学圣地亚哥分校的研究人员开发了 DFlash，这是一种新颖的推测性解码技术，可显著加速 AI 推理。与一次生成一个令牌的传统方法不同，DFlash 使用块扩散模型在单次传递中提出整个令牌块。然后，一个更大的目标模型并行验证这些块，从而实现显著的加速。这种方法在 NVIDIA Blackwell GPU 上对 GPT-OSS 120B 等模型显示出高达 15 倍的吞吐量，对于长上下文推理和编码任务尤其有利。 AI

影响 加速 AI 推理速度，可能降低生成式 AI 应用的成本并改善用户体验。

排序理由 详细介绍 LLM 中推测性解码新技术的论文。

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

DFlash 通过并行令牌块草拟加速 AI 推理 · 跟踪 2 个来源

报道来源 [2]

  1. MarkTechPost TIER_1 English(EN) · Asif Razzaq ·

    DFlash Speculative Decoding 可在 NVIDIA Blackwell 上并行草拟整个 token 块，吞吐量提高高达 15 倍

    <p>UC San Diego's DFlash replaces autoregressive drafting with a lightweight block diffusion model for speculative decoding. It drafts whole token blocks in a single forward pass and conditions on target hidden features through KV injection. The paper reports up to 6.08x lossless…

  2. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    加州大学圣迭戈分校的研究人员开发了 DFlash，这是一种块扩散模型，可以在单次传递中草拟整个令牌块以进行推测性解码。该技术

    UC San Diego researchers have developed DFlash, a block diffusion model that drafts whole token blocks in a single pass for speculative decoding. The technique delivers up to 15x higher throughput on NVIDIA Blackwell GPUs compared to traditional autoregressive methods. It works b…

相关实体

相关话题