Olmo 3
PulseAugur coverage of Olmo 3 — every cluster mentioning Olmo 3 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
AI2 比较了 Transformer 和混合模型在 token 处理方面的差异
AI2 的研究人员将他们的 Transformer 模型 Olmo 3 与混合 Transformer-RNN 模型 Olmo Hybrid 进行了比较，以研究 token 处理和性能上的差异。该研究旨在了解这些混合架构如何成为纯 Transformer 模型的可行替代方案。
-
混合人工智能模型在预测有意义的标记方面优于 Transformer
研究人员进行了实验，比较了 Olmo 3 Transformer 模型和 Olmo Hybrid 模型，以了解它们在标记级别预测的差异。研究发现，Olmo Hybrid 在预测携带重要意义的标记（如名词和动词）以及需要上下文理解的标记（如代词解析）方面表现出色。相反，Transformer 架构 Olmo 3 利用其注意力机制进行精确回忆，在预测直接重复早期输入的标记方面表现出更强的能力。
-
新研究挑战LLM的同策略自蒸馏，提出改进方法 · 跟踪10个来源
近期研究论文探讨了同策略自蒸馏（OPSD）在训练大型语言模型（LLMs）方面的局限性和潜在改进。研究表明，标准的OPSD可能导致死记硬背捷径并阻碍泛化能力，尤其是在长链推理任务中。Purified OPSD和DemoPSD等新框架旨在通过优化监督信号来解决这些问题，以防止过拟合并保留模型的推理能力。其他研究强调，虽然OPSD可以加速专业化，但它可能不足以支持持续学习，并且与其他强化学习方法相比，它可能表现出更强的遗忘效应。
-
Olmo Hybrid语言模型展现出改进的可扩展性和表达能力
研究人员推出Olmo Hybrid，一款结合了循环和注意力机制的新的70亿参数语言模型。这种混合架构采用Gated DeltaNet层，与传统的Transformer及其前身Olmo 3相比，展现出更优越的性能和更高效的可扩展性。该研究从理论和实践上证明，Olmo Hybrid能够执行超越纯粹Transformer和线性RNN的任务，包括代码执行，预示着语言模型发展的一个有前景的新方向。
-
LLM 模型训练后食谱通过新的蒸馏技术不断发展
对大型语言模型训练后食谱的回顾显示，过去一年取得了显著的进展。历史上，模型遵循监督微调（SFT）、奖励建模和强化学习（RL）的流程。然而，2024 年的最新进展以及对 2025-2026 年的预测表明，正朝着更复杂、多阶段的流程转变。这些流程包括直接偏好优化（DPO）和来自人工智能反馈的强化学习（RLAIF），以及面向前沿模型的、值得注意的多教师策略内蒸馏（MOPD）的出现。
-
大型语言模型现已使用AI生成的数据进行训练，揭示复杂的模型依赖关系
大型语言模型越来越多地使用由其他AI模型生成和过滤的数据进行训练，而不是仅依赖人类创建的数据。这种转变涉及复杂的相互依赖关系，例如Olmo 3依赖89个其他模型和183个数据集，Nemotron 3依赖273个模型和560个数据集。为了帮助研究人员应对这种错综复杂的依赖关系，创建者开发了一个名为ModSleuth的工具。
-
新的SCOPE框架通过在开放式任务上进行自我博弈来训练LLM
研究人员开发了SCOPE，一个新颖的无数据自我博弈框架，旨在无需外部监督即可在开放式任务上训练语言模型。该框架共同演化两个策略：一个挑战者（Challenger）创建基于文档的任务，一个解决者（Solver）回答这些任务。初始模型的冻结副本充当自我裁判，创建评分标准并评估响应。SCOPE已在Qwen2.5、Qwen3和OLMo-3等模型的各种基准测试中展示了显著的性能提升，甚至超越了在精选提示上训练的模型。
-
产品经理使用开源AI模型构建网站可访问性检查器
Brendan Works 是一位产品经理，他开发了 PointCheck，一个网站可访问性检查器。该工具利用了开源的 Molmo、MolmoWeb 和 Olmo 3 AI 模型。该应用程序是一个高度交互式的 Web 体验，需要 JavaScript。
-
开放式AI生态系统通过共享研发提供成本优势
开发前沿AI模型的大部分计算成本归因于研发，而非最终训练阶段。中国以领先实验室普遍采取的“开放优先”策略为特征的AI生态系统，通过促进快速学习和避免重复研究工作，可能提供成本优势。这种开放模型与传统的开源软件形成对比，后者通过用户反馈显著降低了开发成本；在开源AI领域，成本降低的负担很大程度上落在模型开发者身上，尽管开放发布确实使更广泛的生态系统受益。