PulseAugur
中
实时 08:20:04
实体 LLaDA 8B Instruct

LLaDA 8B Instruct

PulseAugur coverage of LLaDA 8B Instruct — every cluster mentioning LLaDA 8B Instruct across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
7
90 天内 14
发布 · 30天
0
90 天内 0
论文 · 30天
7
90 天内 13
层级分布 · 90 天
主题
关系
情绪 · 30 天

4 天有情绪数据

最近 · 第 1/1 页 · 共 14 条
  1. RESEARCH · CL_360291 ·

    新研究通过新颖的注意力机制和掩码技术提高了 DLM 的效率和准确性 · 已追踪 3 个来源

    三篇新研究论文介绍了提高扩散语言模型(DLM)效率和准确性的新颖技术。RISA 是一种可恢复的稀疏注意力方法,通过优化块状 DLM 的历史键值缓存处理来提高其推理速度。ReMaRL 是一种强化学习方法,用于训练一个轻量级策略,以智能地对冻结的 DLM 中的 token 进行解掩码和重新掩码,从而提高最终答案的准确性。最后,一种用于掩码扩散语言模型(MDLM)的方差缩减的训练后方法确保每个块仅被评估一次,显著降低了估计方差并提高了在各种…

  2. RESEARCH · CL_336201 ·

    新方法提升扩散语言模型效率和准确性 · 跟踪10个来源

    多篇研究论文介绍了提高扩散语言模型(DLMs)效率和准确性的新方法。SpecCTMC 和 PBPO 等技术旨在降低文本生成过程中顺序模型评估的计算成本,同时不牺牲输出质量。DUEL 和 Corrective Diffusion Language Models 等其他工作则侧重于改进 DLMs 的评估和训练方式,从而在基准测试中获得更好的性能并进行更准确的似然估计。此外,EntropyCache 和 Latent Representat…

  3. TOOL · CL_324616 ·

    dSpark框架通过优化的Token调度加速扩散语言模型

    研究人员开发了dSpark,一个新颖的框架,旨在通过优化生成过程中的Token提交来加速扩散语言模型(dLLMs)。该方法侧重于识别和优先处理那些在揭示时能最有效地减少不确定性并提高后续Token可预测性的Token。通过将这些优化的揭示调度蒸馏到模型中,dSpark在数学推理和代码生成等任务上实现了显著的加速,在保持生成质量的同时超越了现有方法。

  4. TOOL · CL_321701 ·

    新的水印技术以最小的质量损失增强了大型语言模型的检测能力

    研究人员开发了一种新颖的扩散语言模型水印技术,该技术在保持文本质量的同时提高了检测率。该方法学习最优词汇频带和预见性预测器,以更好地将词元选择与模型的生成过程对齐。在新方法在 LLaDA-8B-Instruct 和 WaterBench 基准测试上进行测试,其在最小失真的情况下显著提高了检测分数,优于先前的方法。

  5. RESEARCH · CL_324783 ·

    新的DTCA框架增强了扩散语言模型的强化学习·跟踪2个来源

    研究人员引入了去噪令牌信用分配(DTCA),一个旨在改进扩散语言模型(DLMs)强化学习的新框架。DTCA解决了在DLMs中为单个令牌分配信用的挑战,由于其迭代文本生成过程,这非常困难。该框架通过分析预测置信度变化来估计令牌贡献,并按词性类别对这些信号进行分组,从而更有效地指导强化学习训练。在LLaDA-8B-Instruct模型上的实验表明,在数学推理方面取得了显著改进,在MATH500上提高了9.0分,在GSM8K上提高了5.3分。

  6. TOOL · CL_317671 ·

    新策略优化扩散语言模型,提升速度和准确性

    研究人员开发了一种新方法来优化掩码扩散语言模型中的解蔽策略,旨在提高其效率和速度-准确性权衡。研究发现,使用轨迹收缩目标,结合置信度和隐藏状态,可以使策略在开销极小的情况下获得更好的性能。一个拥有约856K参数的策略在GSM8K等基准测试中表现出卓越的准确性和吞吐量,并在其他基准测试中具有竞争力,显示出良好的模型迁移能力。

  7. TOOL · CL_300787 ·

    HaloBlock 提高了 dLLM 的解码速度和准确性

    研究人员推出了一种名为 HaloBlock 的新机制,旨在提高扩散大语言模型 (dLLM) 解码的效率和质量。该方法解决了解码难度集中在块的右侧以及块之间上下文不连续等限制。通过使用双向累积熵评估块解码难度,HaloBlock 自适应地分配光环区域以平滑上下文传播并降低挑战性 token 的难度。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 等模型上的评估显示,在数学推理和代码生成…

  8. TOOL · CL_273445 ·

    黑板智能在复杂AI问题上优于自回归模型

    一篇新研究论文介绍了一种新颖的AI推理方法——“黑板智能”,该方法在固定画布上修改候选解决方案,而不是遵循从左到右的轨迹。这种方法以扩散语言模型为实例,利用平均置信度作为全局连贯性的代理来指导搜索和修改。在实践中,黑板智能在ZebraLogic、护士排班和作业车间调度等复杂的基于约束的问题上表现出优越的性能,甚至优于更大的自回归模型。

  9. TOOL · CL_218878 ·

    研究详细介绍了更快扩散语言模型的服务挑战

    一篇新的 arXiv 研究论文探讨了服务掩码扩散语言模型(dLLM)的挑战,dLLM 通过同时去噪多个 token,可以比传统的自回归模型更快地生成文本。该研究使用 NVIDIA H200 GPU 上的 LLaDA-8B-Instruct 和 D2F LoRA 适配器,发现请求的难度是离散的,而不是连续的,请求分为 11 个固定的步数级别。具有较短生成预算的基准测试可能会低估服务方差,并且相当一部分挂钟时间花在 CPU 端的分发开销上…

  10. RESEARCH · CL_216026 ·

    扩散语言模型通过新的效率和安全技术取得进展 · 跟踪 10 个来源

    近期研究探讨了扩散语言模型(DLM)的进展,重点在于提高其效率、安全性和能力。论文介绍了 Q-Skew 等方法,用于隐私风险评估和个人身份信息(PII)提取;以及通过识别早期去噪步骤中的拒绝信号来增强安全对齐的 Refusal-Aware Early Commitment (RAEC)。CARVE 和 Survival-Guided Length Decoding 等技术旨在优化生成长度和降低计算成本,而 Affix Cache 和 …

  11. RESEARCH · CL_108093 ·

    新方法加速Diffusion LLM,解决速度-质量权衡问题 · 跟踪3个来源

    研究人员正在开发新的方法来加速Diffusion大型语言模型(dLLM),由于其序列长度缩放,这些模型计算量很大。两个新框架Dynamic-dLLM和Streaming-dLLM旨在提高推理速度而不牺牲生成质量。Dynamic-dLLM使用自适应缓存预算和并行解码,而Streaming-dLLM采用后缀修剪和带有早期退出机制的动态解码。另一项研究ParallelBench强调了dLLM并行解码的权衡,揭示了在现实场景中质量的显著下降以…

  12. TOOL · CL_38426 ·

    新的离散倾斜匹配方法微调掩码扩散大语言模型

    研究人员推出了一种新颖的微调掩码扩散大语言模型(dLLMs)的方法,称为离散倾斜匹配(DTM)。DTM通过将dLLM微调重构为局部解掩码后验的状态级匹配,解决了强化学习中序列级边际似然的棘手问题。这种方法产生了一个可以明确最小化的加权交叉熵目标,并允许使用控制变量来提高训练稳定性。在合成迷宫规划任务上的实验以及与LLaDA-8B-Instruct的规模化评估表明,DTM在提高数独和Countdown等任务的性能方面非常有效,同时在数学…

  13. TOOL · CL_32623 ·

    新的采样方法稳定了大型语言模型的低精度强化学习

    研究人员开发了自适应重要性采样(AIS)技术,以解决在大型语言模型强化学习中使用低精度 rollout 导致的训练不稳定性问题。该技术根据实时诊断动态调整梯度校正,平衡探索收益与偏差减少。当与 LLaDA-8B-Instruct 和 Qwen3 系列等模型集成时,AIS 在保持显著的低精度生成速度优势的同时,性能与更高精度的训练相当。

  14. RESEARCH · CL_15628 ·

    新研究探索用于抵抗攻击的扩散模型鲁棒水印技术

    新研究探讨了生成式AI模型中水印的漏洞和潜在防御措施。一项研究表明,多步重写攻击会显著降低扩散语言模型中水印的检测率,在几次编辑后使其失效。另一篇论文从理论上分析了水印在对抗符号损坏方面的鲁棒性极限,表明在检测变得不可靠之前,超过一半的编码比特可以被修改。此外,研究还为扩散模型引入了新颖的水印方法,包括一种使用压缩感知的抗伪造方法以及一个用于评估安全性、鲁棒性和保真度的理论基础框架。