Diffusion Large Language Models
PulseAugur coverage of Diffusion Large Language Models — every cluster mentioning Diffusion Large Language Models across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
BlockServe框架将dLLM服务吞吐量提升高达10.6倍
研究人员开发了BlockServe，一个旨在提高扩散式大语言模型（dLLM）服务效率的新框架。该系统通过实现块粒度调度来解决批处理中的收敛异构性挑战，该调度允许在块边界立即驱逐已完成的请求。BlockServe还利用混合状态执行和计算感知准入控制器来扩大有效批容量。在各种基准测试中对Dream和LLaDA模型进行的实验表明，与Fast-dLLM相比，BlockServe的吞吐量可提高1.9倍至10.6倍，同时保持相似的生成质量。
-
新方法加速Diffusion LLM，解决速度-质量权衡问题 · 跟踪3个来源
研究人员正在开发新的方法来加速Diffusion大型语言模型（dLLM），由于其序列长度缩放，这些模型计算量很大。两个新框架Dynamic-dLLM和Streaming-dLLM旨在提高推理速度而不牺牲生成质量。Dynamic-dLLM使用自适应缓存预算和并行解码，而Streaming-dLLM采用后缀修剪和带有早期退出机制的动态解码。另一项研究ParallelBench强调了dLLM并行解码的权衡，揭示了在现实场景中质量的显著下降以…
-
全新 7B 统一扩散语言模型 'Sumi' 发布，伴随扩散模型进展
研究人员推出了 Sumi，一个拥有 70 亿参数的统一扩散语言模型 (UDLM)，该模型在 1.5 万亿 tokens 上从头开始预训练。这个开源模型在知识、推理和编码任务上表现出与自回归模型相当的性能，但在常识基准测试上表现稍逊。发布内容包括模型权重、检查点以及完整的训练方法，旨在为大规模研究 UDLM 提供参考。此外，其他研究探索了扩散语言模型的进展，包括生成 CUDA 核的方法、通过自生成错误训练改进 Token 编辑，以及开发…
-
FOCUS 系统将 DLLM 推理速度提升 3.5 倍
研究人员开发了一个名为 FOCUS 的新推理系统，旨在提高扩散大型语言模型 (DLLM) 的效率。该系统通过动态地将计算集中在最相关的 token 上，而不是将资源浪费在不可解码的 token 上，从而解决了 DLLM 的高解码成本问题。在大型批处理场景下，FOCUS 的吞吐量最多可提高 3.52 倍，同时保持或提高生成质量。
-
新的 CreditDecoding 方法加速扩散 LLM 文本生成
研究人员开发了一种名为 CreditDecoding 的新方法，以加速扩散大型语言模型 (dLLM) 的文本生成过程。该技术解决了模型预测正确 token 的时间早于其解码置信度分数允许的时间的效率低下问题，导致冗余迭代。CreditDecoding 使用“Trace Credit”量化 token 的解码潜力，并将其与当前模型输出融合，以提高对正确但置信度不足的 token 的信心。这种无需训练的方法在各种基准测试和 dLLM 架构…
-
新基准和方法推动多模态大语言模型能力发展
研究人员正在开发新的多模态大语言模型（MLLMs）方法，以提高它们对顺序音视频数据和大规模视觉识别的理解能力。一种方法DLLM-VSR使用扩散模型进行视觉语音识别，通过迭代去噪和解码转录文本取得了最先进的成果。另一篇论文介绍了SONIC-O1，这是一个用于评估MLLMs在真实世界音视频理解能力的基准，突出了不同人口群体之间的性能差异。此外，还在探索用于MLLMs高效训练和推理的新技术，包括用于训练的异构并行以及用于推理的“分而治之”策…
-
新的 D^2-Monitor 系统增强了扩散式大语言模型的安全性
研究人员推出了一种新颖的 D-LLMs 安全监控系统 $D^2$-Monitor。该系统解决了扩散式大语言模型（D-LLMs）监控的独特挑战，D-LLMs 通过多步过程生成文本，暴露了中间表示。$D^2$-Monitor 将“安全犹豫”——即中间状态反复接近探测器的决策边界——识别为潜在探测器失败的关键指标。它采用动态路由机制，仅当犹豫水平超过阈值时才激活资源密集型探测器，从而优化效率。
-
TAD框架提升扩散大语言模型的速度和准确性
研究人员推出了一种名为TAD（时序感知轨迹自蒸馏）的框架，旨在提高扩散大语言模型（dLLMs）的速度和准确性。TAD通过使用教师模型生成解码轨迹来解决文本生成速度越快质量越低的常见权衡问题。然后，它根据token的时间接近度，使用不同的损失函数来训练学生模型，鼓励对近距离token进行自信预测，并为远距离token保留未来规划知识。在LLaDA上的实验表明，在准确性和加速方面都有显著的改进。