next-token prediction
PulseAugur coverage of next-token prediction — every cluster mentioning next-token prediction across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
研究发现，AI 模型与高质量数据视图的对齐效果优于单纯的规模扩展
研究人员证明了柏拉图式表征假设，该假设认为在不同模态上训练的 AI 模型会随着规模的扩大而收敛到相似的世界表征。他们的工作引入了联合嵌入预测架构（JEPAs），这是一种比传统的下一个词预测更有效地实现这种对齐的方法。研究表明，当使用“良好视图”（单个场景的对齐观测）进行训练时，JEPAs 可以学习到相同（相差一个旋转）的表征，而使用对齐性较低的数据进行下一个词预测则需要显著更大的规模。这一发现表明，训练数据视图的质量，而不仅仅是规模，…
-
Conceptizer框架训练LLM预测含义，而非仅仅是下一个词
一个名为Conceptizer的新训练框架已被开发出来，通过奖励对含义的预测而非仅仅是下一个词来改进语言模型。该方法利用了约9000个概念的固定词汇表，这些概念源自上下文同义词，从而在不增加模型参数的情况下提供概念级别的训练信号。在10亿到80亿参数的模型上进行的实验表明，与基线模型相比，Conceptizer在概念目标位置实现了更低的困惑度，并为上下文同义词分配了更高的概率。此外，它在知识和情感任务上提升了性能，同时在常识推理方面保…
-
大语言模型训练：词性对概念增强有效性的影响
一篇新的研究论文探讨了词语的词性（POS）如何影响大型语言模型（LLMs）训练后阶段的概念增强的有效性。研究发现，虽然概念增强通常能提高困惑度，尤其是在新闻数据上，但动词始终能带来最显著的下游性能提升。有趣的是，使用 CKA 和线性探针进行的表征分析表明，最大的下游改进并不总是与模型内部表征最显著的改变相关联，这表明概念信息的引入方式及其对大语言模型性能的影响之间存在复杂的关联。
-
Reddit ML 讨论当前 AI 实现通用人工智能的机制性案例
Reddit 的 r/MachineLearning 子版块上的一场讨论探讨了可能导致通用人工智能 (AGI) 的核心机制。核心问题在于，当前的 AI 学习范式，特别是下一个 token 预测和强化学习，是否具备实现 AGI 的内在能力。参与者正在寻求基于理论的机制性论证，而不是对当前进展的推断。
-
荣耀推出“机器人手机”，重塑其AI身份
荣耀公司发布了其“机器人手机”，该设备配备了机械云台，可实现高级交互和跟踪，售价为9999元。此举将荣耀定位为具身AI领域的参与者，旨在创造超越传统智能手机的新叙事。公司大力投资AI研究，成立了专门的实验室并开发了自己的Agentic OS，机器人手机是该战略的第一个具体产出。尽管内部对销售预期存在争论，外部也对其市场必要性提出批评，但机器人手机被视为荣耀重塑其身份并在不断发展的AI格局中竞争的关键一步。
-
新研究揭示了查询-键学习如何使自注意力模型中的注意力更加集中
研究人员分析了自注意力模型的内部工作机制，重点关注查询-键和输出-值电路。他们发现，这些电路的不同参数化可以导致更集中的注意力分配，意味着模型更强烈地关注相关标记。通过梯度流分析，该研究表明，相对于输出-值电路，查询-键电路更快的学习速率会导致这种更集中的注意力，而不会牺牲预测性能。这一发现为注意力机制提供了更好的可解释性。
-
研究论文详细介绍了多令牌预测如何帮助 Transformer 进行规划
一篇新研究论文探讨了多令牌预测（MTP）如何使 Transformer 比标准的下一令牌预测（NTP）更有效地执行规划和推理任务。研究表明，在图路径查找和 Countdown 等推理基准测试中，MTP 的表现优于 NTP。理论上，MTP 通过首先关注结束节点来鼓励路径的向后重建，这一过程得益于梯度解耦特性，该特性提供了更清晰的训练信号。