OLMo 3 7B
PulseAugur coverage of OLMo 3 7B — every cluster mentioning OLMo 3 7B across labs, papers, and developer communities, ranked by signal.
- 2026-05-13 research_milestone A paper was published detailing the early formation and refinement of persona vectors during LLM pretraining. 来源
5 天有情绪数据
-
新的“实体透镜”可预测LLM关系解码能力
研究人员开发了一种名为“实体透镜”（entity lens）的新方法，用于预测线性关系嵌入（LREs）在多大程度上可以近似语言模型的主语到宾语的映射。该方法在OLMo 3 7B模型上进行了测试，发现模型解码关系的能力在很大程度上取决于主语表示中已有的信息，而不是具体的关系本身。研究表明，由于语义较弱的首个词元和名称相似的实体之间的竞争等问题，现有的关系数据集可能需要修订。
-
艾伦研究所发布 Olmo-core 3，提高 LLM 训练吞吐量
人工智能研究所 (Ai2) 发布了 Olmo-core 3，这是其 Olmo 语言模型的开源训练框架。新版本引入了分布式数据并行方法，取代了之前的全分片数据并行。这一改变通过确保每个 GPU 保留其模型分区，并且仅将选定的 token 行发送到相关专家，从而显著提高了吞吐量，并降低了与存储所有参数相关的“容量税”。
-
AI推理研究质疑自我蒸馏的有效性
arXiv上发表的两篇研究论文探讨了自我蒸馏技术在提升AI推理能力方面的有效性。第一篇论文质疑诸如SDPO和OPSD等自我蒸馏方法是否能持续泛化到未见过的问题，并提出其报告的收益可能源于过拟合而非有效利用特权信息。第二篇论文批评了现有的自我蒸馏方法，认为仅靠评分教师无法有效定位错误。该论文提出了一种“批评条件自我蒸馏”方法，该方法在评分前先对一次展开生成批评，从而展示了改进的错误定位和纠正能力，尤其是在数学推理任务方面。
-
开源LLM评估：DeepSeek V4引领基准测试
多个开源大型语言模型在各种基准测试中进行了独立评估，其中DeepSeek V4 Flash 0420在GPQA（89.4%）和Humanity's Last Exam（34.8%）中取得最高分。Qwen3.5 4B在长上下文推理（63%）方面也表现强劲，而GLM-4.6V在MMLU-Pro（79.9%）方面表现出色。这些结果来自独立测量，而非自我报告数据，并可在公开排行榜上查阅。
-
训练数据提示解锁基础模型推理能力，可媲美RL性能
研究人员发现，基础模型响应中的特定起始标记可以显著提高其推理能力，使其性能接近通过强化学习（RL）训练的模型。通过操纵这些标记提示，例如使用“\n\nOkay”或“Alright,”，在MATH-500等数学基准测试上的性能可以大幅提升。研究进一步揭示，这些提示是从训练数据中学习到的，而RL训练使它们出现的概率更高。对训练数据进行因果干预甚至可以将任意词语变成有效的推理提示，这表明数据内容与模型行为（包括安全相关响应）之间存在直接联系。
-
NCP-ArchPreview模型通过概念预测推进语言建模
研究人员推出了一种新颖的潜在空间语言模型NCP-ArchPreview，它超越了传统的下一个词元预测。该模型集成了下一概念预测（NCP），使其能够学习和预测跨越多个词元的离散概念。该模型拥有89亿参数，在Dolma-3数据集的5.73万亿词元上进行训练，仅使用了51.3%的训练词元就达到了OLMo-3-7B的预训练损失，并在下游任务上取得了显著的提升，包括在GSM8K上提高了5.99个百分点。
-
Instella-MoE：新的开源 MoE 语言模型发布
一份新的技术报告介绍 Instella-MoE，一个拥有 160 亿总参数的开源专家混合（MoE）语言模型。该模型在 AMD Instinct GPU 上训练，并采用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等创新技术，以实现高效的训练和推理。Instella-MoE 在预训练基准测试中表现强劲，优于其他开源模型，并在指令遵循、推理、数学、编…
-
新研究探索大语言模型高级微调技术 · 跟踪 3 个来源
三篇新研究论文探讨了大型语言模型监督微调 (SFT) 的高级技术。第一篇论文研究了包括 Qwen3 和 Llama 在内的不同模型规模和系列在 LoRA 和完全微调中的学习率和批次大小等最优超参数。第二篇介绍了在线自加权微调 (OSW-FT) 方法，该方法根据模型估计的成功率调整更新幅度，在 Qwen3 模型推理任务上显示出改进。第三篇论文《Stick to What You Know》专注于知识对齐 SFT，通过确保训练目标与基础模…
-
新研究揭示了大型语言模型中的“反向”转向向量
研究人员在转向向量（SVs）中发现了一种“反向检测-控制现象”，SVs是一种用于影响大型语言模型输出的技术。当具有高度辨别力的SV，本意是促进特定概念时，实际上会导致模型表现出相反的行为。该研究提出了一种在无需生成响应的情况下区分这些“反向转向向量”（ISVs）的方法，从而能够进行有针对性的符号翻转以改进转向流程。该方法在不同模型和概念的30项实验中的27项中均显示出改进。
-
AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM
AMD 发布了 Instella-MoE-16B-A3B，这是一款开源的专家混合（Mixture-of-Experts）语言模型。该模型拥有 160 亿总参数，但每个 token 仅激活 28 亿参数，利用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等架构创新，以提高训练和推理速度。虽然训练代码采用 MIT 许可且高度可重用，但模型权重是在 R…
-
利用群体遗传学工具研究AI价值动态
研究人员开发了一种方法来衡量和预测AI模型价值随时间的变化，特别是在自训练反馈循环中。该项目为期五周，利用群体遗传学工具研究这些“价值动态”。通过微调Qwen3-4B和OLMo-3-7B等模型并观察裁判如何选择训练数据，研究发现初始测量可以预测AI系统中价值变化的长期轨迹。
-
OLMo 3 7B 训练揭示结构化有害性方向
研究人员分析了 OLMo 3 7B 模型在训练过程中有害性表征的发展。他们识别出不同有害性子类别的明显但相关的线性激活方向，并观察到这些方向会随着时间演变和稳定。研究发现，分布内评估可能具有误导性，强调了进行分布外测试的必要性，并证明了后期训练方向可以有效地引导模型的行为。
-
研究发现：LLM中的人格向量在预训练早期形成
研究人员发现，像谄媚这样的特定行为特征在大型语言模型中由“人格向量”表示。这些向量在预训练过程的早期就形成了，对于OLMo-3-7B模型来说，仅占训练的最初0.22%。虽然核心表征形成迅速，但这些人格向量在整个预训练过程中会持续细化，并且不同的提取方法会揭示底层行为的不同方面。研究结果表明，这些表征是早期预训练的稳定特征，并已被证明可以迁移到Apertus-8B等其他模型。