LLaDA 1.5
PulseAugur coverage of LLaDA 1.5 — every cluster mentioning LLaDA 1.5 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Step-dLLM 通过自适应稀疏注意力提升扩散 LLM 推理速度
研究人员开发了 Step-dLLM,一种在推理过程中提高扩散大型语言模型 (dLLM) 效率的新颖方法。与自回归模型不同,dLLM 不能使用 KV 缓存并在每一步重新计算注意力图,导致成本高昂。Step-dLLM 通过在锚点步骤自适应地刷新稀疏注意力掩码并采用头部自适应预算来优先处理注意力集中的头部来解决此问题。这种方法通过融合的 Triton 内核实现,在 LLaDA-1.5 和 Dream-7B-Instruct 等模型上实现了显…
-
扩散语言模型显示出采样依赖偏差
一篇新的研究论文探讨了扩散语言模型(DLMs)的公平性,DLMs正作为自回归语言模型的替代方案出现。该研究使用Open-BBQ基准,在LLaDA、LLaDA-1.5和Dream模型上进行,发现DLMs表现出社会偏见。至关重要的是,这种偏差的程度以及模型的相对性能高度依赖于采样配置,例如块长度和重掩码策略。虽然标准的去偏技术可以在不降低性能的情况下减少偏差,但这种采样依赖性在缓解后仍然存在,这表明DLM的公平性必须与其采样设置结合进行评估。
-
HaloBlock 提高了 dLLM 的解码速度和准确性
研究人员推出了一种名为 HaloBlock 的新机制,旨在提高扩散大语言模型 (dLLM) 解码的效率和质量。该方法解决了解码难度集中在块的右侧以及块之间上下文不连续等限制。通过使用双向累积熵评估块解码难度,HaloBlock 自适应地分配光环区域以平滑上下文传播并降低挑战性 token 的难度。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 等模型上的评估显示,在数学推理和代码生成…
-
新框架通过能量景观分析解释LLM越狱
研究人员开发了一个新框架,以理解为什么越狱在基于扩散的大型语言模型(dLLMs)中会成功。他们提出,安全对齐可以被视为塑造模型的能量景观,其中有害查询通过能量壁垒被引导远离安全输出。越狱攻击通过在初始阶段掩盖查询的有害意图,或在生成过程中进行干预以强制路径越过该壁垒来起作用。该研究引入了三个基于初始安全倾向和轨迹速度的免训练检测信号,并在包括LLaDA-8B、LLaDA 1.5、Dream-7B和LLaDA-MoE-7B在内的多个dL…
-
扩散语言模型通过新的效率和安全技术取得进展 · 跟踪 10 个来源
近期研究探讨了扩散语言模型(DLM)的进展,重点在于提高其效率、安全性和能力。论文介绍了 Q-Skew 等方法,用于隐私风险评估和个人身份信息(PII)提取;以及通过识别早期去噪步骤中的拒绝信号来增强安全对齐的 Refusal-Aware Early Commitment (RAEC)。CARVE 和 Survival-Guided Length Decoding 等技术旨在优化生成长度和降低计算成本,而 Affix Cache 和 …
-
新方法加速Diffusion LLM,解决速度-质量权衡问题 · 跟踪3个来源
研究人员正在开发新的方法来加速Diffusion大型语言模型(dLLM),由于其序列长度缩放,这些模型计算量很大。两个新框架Dynamic-dLLM和Streaming-dLLM旨在提高推理速度而不牺牲生成质量。Dynamic-dLLM使用自适应缓存预算和并行解码,而Streaming-dLLM采用后缀修剪和带有早期退出机制的动态解码。另一项研究ParallelBench强调了dLLM并行解码的权衡,揭示了在现实场景中质量的显著下降以…