LM1B
PulseAugur coverage of LM1B — every cluster mentioning LM1B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
全新 7B 统一扩散语言模型 'Sumi' 发布，伴随扩散模型进展
研究人员推出了 Sumi，一个拥有 70 亿参数的统一扩散语言模型 (UDLM)，该模型在 1.5 万亿 tokens 上从头开始预训练。这个开源模型在知识、推理和编码任务上表现出与自回归模型相当的性能，但在常识基准测试上表现稍逊。发布内容包括模型权重、检查点以及完整的训练方法，旨在为大规模研究 UDLM 提供参考。此外，其他研究探索了扩散语言模型的进展，包括生成 CUDA 核的方法、通过自生成错误训练改进 Token 编辑，以及开发…
-
K-Forcing 通过一次解码多个 token 来加速 LLM 推理
研究人员推出了一种名为 K-Forcing 的新范式，通过同时解码多个 token 来加速语言模型推理。这种推前方法将现有的自回归模型提炼成一个映射，该映射可以在一次通过中生成 k 个 token。K-Forcing 旨在提高高负载批量服务场景的效率，这是大规模 LLM 部署的关键领域。初步评估显示，在质量影响适中的情况下，速度提高了 2.4-3.5 倍。
-
新研究论文批评AI文本评估方法
两篇新研究论文指出了当前评估AI生成文本方法的重大问题。一篇论文揭示了NLP会议上普遍存在的人工评估协议报告不足的问题，阻碍了可复现性和清晰度。第二篇论文批评了非自回归模型常用生成式困惑度的方法，认为它可以被“破解”以生成不连贯的文本，同时表现良好。两项研究都呼吁采用更健壮和透明的评估指标及方法。
-
新的大语言模型训练方法提高了效率和错误恢复能力
研究人员开发了提高大语言模型（LLM）训练效率的新技术。一种名为“步进拒绝微调”（SRFT）的方法，通过评估每个步骤的正确性来利用不成功的训练轨迹，使模型能够在不重复错误的情况下从中学习。该方法将SWE-bench任务的解决率提高了3.7%。另一项开发，“无限掩码扩散模型”（IMDM），通过引入随机无限状态掩码来解决掩码扩散模型（MDMs）中的因子化错误。IMDM展示了卓越的几步生成能力，并在与蒸馏结合时，在LM1B和OpenWebT…