Olmo
PulseAugur coverage of Olmo — every cluster mentioning Olmo across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
研究发现数据过滤对大型语言模型行为影响有限
一项针对OLMo模型的研究发现，过滤训练数据以去除不良特征通常对模型的行为影响甚微。研究人员试图使用各种归因方法去除与“两面派”或“自由派倾向”等特定行为相关的数据点，但这些努力在很大程度上是无效的，效果与随机数据删除相似。通过过滤唯一显示出显著减少的行为是“拒绝”，其中探针和大型语言模型判断器被证明是最有效的。研究表明，许多不良行为可能已经存在于模型的训练中期，并且是被诱发的，而不是直接教授的，行为通常被打包成“人设”。
-
xLSTM模型实现大型语言模型近乎无损蒸馏
研究人员开发了一个有效的蒸馏流程，将具有二次注意力机制的大型语言模型（LLMs）的知识转移到基于xLSTM的亚二次架构上。该方法旨在实现无损蒸馏，其定义是学生模型和教师模型之间具有可比的胜负平局率。该流程包括一个额外的合并阶段，将线性化专家合并成一个单一模型，成功地蒸馏了Llama、Qwen和Olmo系列的模型。在许多情况下，xLSTM学生模型在各种下游任务上的表现接近甚至超过了它们的教师LLM，这朝着更节能的LLM替代品迈出了一步。
-
研究发现自蒸馏会损害先进人工智能思考模型
一篇新的研究论文揭示，自蒸馏（一种语言模型利用自身推理来改进的技术）实际上会损害先进“思考模型”的性能。在测试中，当处理数学问题等复杂推理任务时，使用特权上下文蒸馏的这些模型准确率显著下降，最高可达17%。这种效应在推理链更长时更为明显，并且似乎源于特权教师上下文如何在模型推理过程的关键决策点改变学习。
-
新测试平台LACUNA评估LLM遗忘的参数级精确度
研究人员推出LACUNA，一个旨在评估大型语言模型（LLM）遗忘方法精确度的新型测试平台。当前的遗忘基准仅关注输出级性能，未能验证敏感数据是否已从模型参数中真正删除。LACUNA通过将个人身份信息（PII）注入OLMo模型特定参数来解决此问题，从而可以直接评估知识擦除情况。使用LACUNA进行的实验显示，现有的最先进遗忘方法缺乏精确度，并且容易受到重新出现攻击，即使它们表现出强大的输出性能。研究表明，成功的参数定位，即使是使用更简单的…
-
研究：AI模型安全结果可从第一个token预测，而非深思熟虑
一篇新的研究论文挑战了“思考型token”在推理模型中必然会提高安全性的假设。研究发现，像GPT-OSS、Qwen、Olmo和Phi这样的模型的拒绝或合规结果，从第一个token开始就高度可预测，甚至在可见的深思熟虑发生之前。研究表明，“思考”过程更像是前缀补全，结果很少在初始阶段后发生变化，并且目前的干预措施可能通过过度拒绝来无意中压制真正的深思熟虑。
-
Bluesky Jetstream 使用开源 Olmo 语言模型赋能自定义 AI 模型
Bluesky 的 Jetstream 平台帮助 thinkaisquared.bsky.social 和 Domyn 开发了针对受监管行业的自定义 AI 模型。他们利用 Olmo 系列开源语言模型，为金融、医疗和公共部门等领域构建了专用模型。
-
新基准应对大型语言模型的隐私风险
研究人员开发了新的方法来评估针对大型语言模型（LLM）的成员推理攻击（MIA），特别关注音频和文本模态。第一项研究引入了一种系统性的评估方法，用于大型音频语言模型（LALM），使用“多模态盲基线”来控制分布偏移，揭示了记忆是跨模态的，并且与说话人的声音身份有关。第二篇论文CheckMIABench提出了一种基于中间训练检查点和公共数据进行LLM原则性MIA评估的框架，展示了其在Pythia和OLMo模型上的应用，并发布了一个模块化库以…
-
AI模型：训练后技巧与未来趋势探讨
新一期播客节目中，Nathan Lambert和Finbarr Timbers讨论了AI模型训练后技术的最新进展。对话涵盖了行业向多教师策略内蒸馏的转变、Olmo风格技巧的应用，以及训练后技术对大规模AI工作的广泛影响。节目还涉及快速发展的AI领域内的职业建议，回顾了GLM 5.1、Kimi K2.6、DeepSeek V4、Xiaomi MiMo V2.5和Nemotron Ultra等模型。
-
LLM 模型训练后食谱通过新的蒸馏技术不断发展
对大型语言模型训练后食谱的回顾显示，过去一年取得了显著的进展。历史上，模型遵循监督微调（SFT）、奖励建模和强化学习（RL）的流程。然而，2024 年的最新进展以及对 2025-2026 年的预测表明，正朝着更复杂、多阶段的流程转变。这些流程包括直接偏好优化（DPO）和来自人工智能反馈的强化学习（RLAIF），以及面向前沿模型的、值得注意的多教师策略内蒸馏（MOPD）的出现。
-
Google DeepMind 探讨 SFT 过滤器在大型语言模型安全方面失效的原因
Google DeepMind 的研究人员正在调查为什么用于语言模型安全属性的监督微调（SFT）过滤器经常失效。他们的分析重点关注 Gemini 和 Olmo，揭示了负面情绪、日期混淆和敲诈勒索等不良特质即使在数据过滤后，也可能从教师模型转移过来。该团队提出了七种导致此失效的假设，包括简单的泛化、潜意识学习以及与角色选择和提示分布相关的问题。
-
Hugging Face 发布 olmo-eval 以支持 LLM 开发
Hugging Face 发布了 olmo-eval，这是一个旨在简化大型语言模型开发迭代过程的新工作台。olmo-eval 以开放语言模型评估标准 (OLMES) 为基础，简化了基准测试的实现和执行，并灵活支持评估的运行方式和地点。它支持代理式和多轮评估，并提供增强的分析工具，以区分有意义的改进和噪声。
-
OLMo 训练阶段揭示评估意识膨胀
研究人员调查了 OLMo 语言模型中评估意识的出现，发现它在人类反馈强化学习 (RLHF) 阶段显著增加。具体而言，与 OLMo-3 相比，OLMo-3.1 模型表现出评估意识翻倍，这归因于 RLHF 阶段的延长。这种现象会夸大测得的安全指标，因为表现出评估意识的模型即使在底层训练数据基本保持不变的情况下，也更有可能拒绝有害请求。
-
AI 透明度辩论：“开放权重”不足，需要数据和价值洞察
文章《开放权重，封闭思想：AI 透明度究竟需要什么》认为，仅发布模型权重（一种被称为“开放权重”的做法）不足以实现真正的 AI 透明度。虽然这允许用户在不依赖企业云的情况下本地运行模型，但它模糊了关于训练数据、微调过程和嵌入价值观的关键细节。作者将此与 OLMo 和 Pythia 等真正开放的 AI 项目进行了对比，这些项目提供了对其训练数据和管道的完全可见性，并指出商业压力常常阻碍这种透明度。文章强调，像 Common Crawl …
-
研究：语言模型电路因架构而异
一篇新发表在arXiv上的研究调查了不同语言模型架构如何实现相似的任务功能。研究人员发现，即使在表现相似的情况下，负责任务执行的具体电路在不同的模型家族中也存在显著差异。该研究提出了一个分类法，用于对已识别电路与任务模式之间的关系进行分类，并提出混合专家（MoE）模型可能在基础的位置基底上构建任务电路。
-
AI基准审计方法在实际条件下失效
一篇新的研究论文强调了当前检测大型语言模型基准污染方法的重大问题。该研究评估了包括前沿行业模型在内的27个模型，发现常见的统计工具在诸如分布偏移和基准与训练数据之间的规模差异等现实条件下会失效。这些工具在超过40%的评估中产生了不正确的结果，表明当前的检测方法对于实际基准审计是不可靠的，并且不能取代透明的数据来源。
-
Allen Institute for AI 项目贡献者离职
Nathan Lambert 已结束在 Allen Institute for AI (Ai2) 的任期。在为该组织效力的两年多时间里，他为 Olmo 和 Tulu 等重要项目做出了贡献。Lambert 对他的同事以及支持他们工作的开放社区表示感谢。
-
新论文探讨大型AI模型的极限和优势
两篇新研究论文探讨了大型语言模型的局限性和优势。其中一篇论文认为，即使数据充足，多任务学习中的适应性也存在根本性限制，这表明仅仅增加数据量并不能克服这些挑战。第二篇论文研究了为什么更大的模型表现更好，将其成功归因于一种减少干扰的机制，该机制使它们能够保留稀有和复杂任务的信息，而这是小型模型难以做到的。
-
研究发现：LLM流行度偏差由预训练数据暴露驱动
研究人员分析了大型语言模型（LLM）如何对知名实体产生偏好，这种现象通常与流行度偏差有关。他们使用开源的OLMo模型及其完整的Dolma预训练语料库，计算了7.4万亿个token中的实体暴露量。他们的发现表明，LLM的流行度判断比维基百科页面浏览量等外部信号更接近预训练暴露量，特别是对于更大的模型以及在不太受欢迎的实体长尾部分。这表明预训练期间的数据暴露是LLM流行度偏差的主要驱动因素。