实体
next-token prediction
next-token prediction
PulseAugur coverage of next-token prediction — every cluster mentioning next-token prediction across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
荣耀推出“机器人手机”，重塑其AI身份
荣耀公司发布了其“机器人手机”，该设备配备了机械云台，可实现高级交互和跟踪，售价为9999元。此举将荣耀定位为具身AI领域的参与者，旨在创造超越传统智能手机的新叙事。公司大力投资AI研究，成立了专门的实验室并开发了自己的Agentic OS，机器人手机是该战略的第一个具体产出。尽管内部对销售预期存在争论，外部也对其市场必要性提出批评，但机器人手机被视为荣耀重塑其身份并在不断发展的AI格局中竞争的关键一步。
-
新研究揭示了查询-键学习如何使自注意力模型中的注意力更加集中
研究人员分析了自注意力模型的内部工作机制，重点关注查询-键和输出-值电路。他们发现，这些电路的不同参数化可以导致更集中的注意力分配，意味着模型更强烈地关注相关标记。通过梯度流分析，该研究表明，相对于输出-值电路，查询-键电路更快的学习速率会导致这种更集中的注意力，而不会牺牲预测性能。这一发现为注意力机制提供了更好的可解释性。
-
研究论文详细介绍了多令牌预测如何帮助 Transformer 进行规划
一篇新研究论文探讨了多令牌预测（MTP）如何使 Transformer 比标准的下一令牌预测（NTP）更有效地执行规划和推理任务。研究表明，在图路径查找和 Countdown 等推理基准测试中，MTP 的表现优于 NTP。理论上，MTP 通过首先关注结束节点来鼓励路径的向后重建，这一过程得益于梯度解耦特性，该特性提供了更清晰的训练信号。