LM1B
PulseAugur coverage of LM1B — every cluster mentioning LM1B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究探索文本和图像的高效几步生成
两篇新研究论文介绍了生成模型的新方法，重点在于提高文本和图像几步生成的效率和质量。第一篇论文《Latent-Kernel Discrete Flow Maps for Few-Step Generation》提出了一种名为 LKF 的方法，该方法原生表达了相关步骤，显著提高了文本基准上的生成困惑度。第二篇论文《Flow Map Learning via Nongradient Vector Flow》介绍了 SGFlow，一种通过模型…
-
新研究解决了掩码扩散语言模型的评估和架构问题
两篇新研究论文介绍了掩码扩散语言模型（MDLM）的新型评估协议和架构。第一篇论文“CaRE”提出了一个计算感知的框架来标准化评估，揭示了温度和步数等因素会显著影响报告的收益，常常颠覆之前的策略排名。第二篇论文“PreDiff-LM”提出了一种混合注意力机制，该机制可以使预训练的自回归Transformer适应双向生成，在困惑度和MAUVE等指标上比标准扩散模型有所改进，但在同等规模下仍落后于优化的自回归模型。
-
Gumbel蒸馏提升并行文本生成质量
研究人员开发了一种名为Gumbel蒸馏的新技术，以提高并行文本模型的生成质量。该方法利用Gumbel-Max技巧在潜在噪声空间和教师模型的输出token之间创建确定性连接。Gumbel蒸馏是模型无关的，可以与各种并行解码架构集成。在LM1B和OpenWebText数据集上的实验表明，与标准的MDLM训练相比，MAUVE分数显著提高了30.0%，生成困惑度降低了10.5%。
-
全新 7B 统一扩散语言模型 'Sumi' 发布，伴随扩散模型进展
研究人员推出了 Sumi，一个拥有 70 亿参数的统一扩散语言模型 (UDLM)，该模型在 1.5 万亿 tokens 上从头开始预训练。这个开源模型在知识、推理和编码任务上表现出与自回归模型相当的性能，但在常识基准测试上表现稍逊。发布内容包括模型权重、检查点以及完整的训练方法，旨在为大规模研究 UDLM 提供参考。此外，其他研究探索了扩散语言模型的进展，包括生成 CUDA 核的方法、通过自生成错误训练改进 Token 编辑，以及开发…
-
K-Forcing 通过一次解码多个 token 来加速 LLM 推理
研究人员推出了一种名为 K-Forcing 的新范式，通过同时解码多个 token 来加速语言模型推理。这种推前方法将现有的自回归模型提炼成一个映射，该映射可以在一次通过中生成 k 个 token。K-Forcing 旨在提高高负载批量服务场景的效率，这是大规模 LLM 部署的关键领域。初步评估显示，在质量影响适中的情况下，速度提高了 2.4-3.5 倍。
-
新研究论文批评AI文本评估方法
两篇新研究论文指出了当前评估AI生成文本方法的重大问题。一篇论文揭示了NLP会议上普遍存在的人工评估协议报告不足的问题，阻碍了可复现性和清晰度。第二篇论文批评了非自回归模型常用生成式困惑度的方法，认为它可以被“破解”以生成不连贯的文本，同时表现良好。两项研究都呼吁采用更健壮和透明的评估指标及方法。
-
新的大语言模型训练方法提高了效率和错误恢复能力
研究人员开发了提高大语言模型（LLM）训练效率的新技术。一种名为“步进拒绝微调”（SRFT）的方法，通过评估每个步骤的正确性来利用不成功的训练轨迹，使模型能够在不重复错误的情况下从中学习。该方法将SWE-bench任务的解决率提高了3.7%。另一项开发，“无限掩码扩散模型”（IMDM），通过引入随机无限状态掩码来解决掩码扩散模型（MDMs）中的因子化错误。IMDM展示了卓越的几步生成能力，并在与蒸馏结合时，在LM1B和OpenWebT…