OpenWebText
PulseAugur coverage of OpenWebText — every cluster mentioning OpenWebText across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的固定点流增强了语言模型的自条件能力
研究人员引入了一种名为固定点流的新技术，用于连续流式语言模型，增强了自条件能力。该方法解决了自条件能力性能提升不明确的问题，并将其应用于少步生成器。该方法将固定点流构建为一个二维类别，其中一个维度处理流过程，另一个维度管理固定点迭代，从而能够将其蒸馏成一个名为 FMLM$^*$ 的流图语言模型。据报道，该模型在 OpenWebText 数据集上的一步和少步生成任务上均优于当前最先进的模型。
-
新的NC-FFN架构增强了Transformer的可解释性和效率
研究人员开发了一种新颖的、参数中性的Transformer前馈网络替代方案，称为NC-FFN，它利用显式的模糊集运算。这种新架构在N位奇偶校验任务上表现出强大的参数效率，并在OpenWebText等更大模型的困惑度上与GELU基线相匹配。NC-FFN还提高了语法许可和量词理解能力，使得前馈层的计算更加清晰和可解释。
-
新基准使用图随机游走来评估AI扩散采样器
研究人员开发了一个新颖的框架，使用图上的随机游走来评估掩码扩散模型（MDMs）中的并行采样策略。这种方法允许对序列中的潜在结构进行定量分析，为研究采样器性能提供了一个可验证的沙盒。实验表明，现有的并行解掩方法并不普遍优于随机采样器，其性能在很大程度上取决于底层图结构。该研究还引入了一种新的二分采样器，在提高语言生成任务的速度-质量权衡方面显示出潜力。
-
新型混合架构提升长上下文语言模型效率
研究人员引入了一种并行混合架构（PHA），它结合了门控状态空间（GSS）、分组查询注意力（GQA）和前馈网络（FFNs），以改进长上下文语言建模。该架构并行运行这些组件，允许每个组件专注于序列建模的不同方面，这与之前迫使SSM近似注意力或串行化这两种范例的方法不同。PHA在困惑度方面与标准Transformer具有竞争力，同时在吞吐量和内存使用方面提供了显著更高的效率，尤其是在长上下文方面。
-
全新 7B 统一扩散语言模型 'Sumi' 发布，伴随扩散模型进展
研究人员推出了 Sumi，一个拥有 70 亿参数的统一扩散语言模型 (UDLM)，该模型在 1.5 万亿 tokens 上从头开始预训练。这个开源模型在知识、推理和编码任务上表现出与自回归模型相当的性能，但在常识基准测试上表现稍逊。发布内容包括模型权重、检查点以及完整的训练方法，旨在为大规模研究 UDLM 提供参考。此外，其他研究探索了扩散语言模型的进展，包括生成 CUDA 核的方法、通过自生成错误训练改进 Token 编辑，以及开发…
-
K-Forcing 通过一次解码多个 token 来加速 LLM 推理
研究人员推出了一种名为 K-Forcing 的新范式，通过同时解码多个 token 来加速语言模型推理。这种推前方法将现有的自回归模型提炼成一个映射，该映射可以在一次通过中生成 k 个 token。K-Forcing 旨在提高高负载批量服务场景的效率，这是大规模 LLM 部署的关键领域。初步评估显示，在质量影响适中的情况下，速度提高了 2.4-3.5 倍。
-
新研究论文批评AI文本评估方法
两篇新研究论文指出了当前评估AI生成文本方法的重大问题。一篇论文揭示了NLP会议上普遍存在的人工评估协议报告不足的问题，阻碍了可复现性和清晰度。第二篇论文批评了非自回归模型常用生成式困惑度的方法，认为它可以被“破解”以生成不连贯的文本，同时表现良好。两项研究都呼吁采用更健壮和透明的评估指标及方法。
-
BlockGen 模型探索使用混合采样器进行分块序列生成
研究人员推出了一种新颖的分块序列建模方法 BlockGen，该方法利用混合采样器进行离散扩散。该方法比较了统一状态扩散模型 (USDMs) 与掩码扩散模型 (MDMs) 在分块生成序列（而非逐个 token 生成）时的有效性。BlockGen 将自回归 (AR) 预测与扩散模型相结合，以优化不太可能的 token，在 GSM8K 和 OpenWebText 等任务上表现出竞争力。
-
新的FP-MGMs大幅降低训练成本并提高生成质量
研究人员开发了固定点掩码生成模型（FP-MGMs），以提高掩码生成模型的效率和质量。这个名为CoFRe的新框架利用固定点求解器和自适应深度来降低计算成本和参数使用量。CoFRe还结合了跨步一致性损失和三状态重用机制，以提高性能，尤其是在低采样预算下。该方法在文本和图像生成任务中显著减少了训练时间、VRAM和参数数量，同时提高了生成困惑度和图像质量。
-
新框架支持Transformer电路的形式化验证
研究人员开发了一个名为Verifiable Transformers的新框架，用于形式化证明Transformer模型内电路的功能。该方法将识别出的电路转换为可由求解器检查的声明，超越了手动验证。该框架支持对精确可编码算子的直接验证以及对更复杂算子的代理中介验证，旨在为机械电路解释提供具体证明。
-
新的DSL框架增强了非自回归生成模型
研究人员引入了离散随机定位（DSL），一种新的连续状态非自回归生成框架。该方法旨在通过提供一种对信噪比不变的更灵活的表示来改进现有的离散扩散模型。在OpenWebText数据集上，使用DSL对预训练模型进行微调已显示出分布忠实度的显著提高，甚至支持以更少的步数进行更快采样。
-
新研究解决扩散语言模型的局限性
研究人员正在探索改进扩散语言模型（DLM）的新方法，与自回归模型相比，DLM 提供了更快的推理速度。几篇近期论文介绍了增强 DLM 性能的技术，包括用于解耦重掩码的 NAVIRA、用于使用丢弃标记进行检索增强生成的 SARDI，以及用于支持标记揭示的 AXON。另一项研究确定了 DLM 的局限性，例如局部性偏差和来自掩码标记的干扰，并提出了一种无掩码的损失函数来改善上下文理解。此外，一项调查全面概述了 DLM 的格局，涵盖了基本原理、…
-
新的大语言模型训练方法提高了效率和错误恢复能力
研究人员开发了提高大语言模型（LLM）训练效率的新技术。一种名为“步进拒绝微调”（SRFT）的方法，通过评估每个步骤的正确性来利用不成功的训练轨迹，使模型能够在不重复错误的情况下从中学习。该方法将SWE-bench任务的解决率提高了3.7%。另一项开发，“无限掩码扩散模型”（IMDM），通过引入随机无限状态掩码来解决掩码扩散模型（MDMs）中的因子化错误。IMDM展示了卓越的几步生成能力，并在与蒸馏结合时，在LM1B和OpenWebT…
-
OpenAI推出GPT-5.5 Instant，同时NRGPT探索基于能量的GPT替代方案
OpenAI已将ChatGPT更新至GPT-5.5 Instant，增强了其默认模型以获得更准确的响应和更好的个性化。此次升级旨在减少幻觉，并为用户提供更清晰、更量身定制的交互。此外，研究人员提出了NRGPT，一种基于能量的模型，将生成式预训练重新构建为能量景观的探索，可能为标准的GPT架构提供替代方案。