实体
Lladairo
Lladairo
PulseAugur coverage of Lladairo — every cluster mentioning Lladairo across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
TAD框架提升扩散大语言模型的速度和准确性
研究人员推出了一种名为TAD（时序感知轨迹自蒸馏）的框架，旨在提高扩散大语言模型（dLLMs）的速度和准确性。TAD通过使用教师模型生成解码轨迹来解决文本生成速度越快质量越低的常见权衡问题。然后，它根据token的时间接近度，使用不同的损失函数来训练学生模型，鼓励对近距离token进行自信预测，并为远距离token保留未来规划知识。在LLaDA上的实验表明，在准确性和加速方面都有显著的改进。
-
Diffusion LLM 展现出更大的表征冗余，可实现压缩
一篇新论文分析了自回归 (AR) 和扩散语言模型 (dLLM) 的内部表征。研究人员发现，扩散模型创建了更多具有早期层冗余的全局表征，而 AR 模型则具有紧密耦合的局部表征。dLLM 中的这种冗余可以节省大量计算成本，原生扩散模型在保持数学和编码任务 90% 以上性能的同时，可吸收高达 18.75% 的 FLOPs 削减。
-
研究发现：Diffusion 语言模型在代理任务中表现不佳
一项评估基于扩散的大型语言模型（dLLMs）在代理工作流中表现的新研究发现，它们并不可靠。尽管 dLLMs 承诺效率，但在具身代理任务的长期规划和保持工具调用代理的精确格式方面遇到了困难。该研究引入了用于评估 dLLMs 的 DiffuAgent 框架，并得出结论：虽然 dLLMs 可以在非因果角色（如摘要）中提供帮助，但它们需要与因果推理机制集成才能在代理任务中发挥有效作用。