OLMo 3 7B
PulseAugur coverage of OLMo 3 7B — every cluster mentioning OLMo 3 7B across labs, papers, and developer communities, ranked by signal.
- 2026-05-13 research_milestone A paper was published detailing the early formation and refinement of persona vectors during LLM pretraining. 来源
3 天有情绪数据
-
NCP-ArchPreview模型通过概念预测推进语言建模
研究人员推出了一种新颖的潜在空间语言模型NCP-ArchPreview，它超越了传统的下一个词元预测。该模型集成了下一概念预测（NCP），使其能够学习和预测跨越多个词元的离散概念。该模型拥有89亿参数，在Dolma-3数据集的5.73万亿词元上进行训练，仅使用了51.3%的训练词元就达到了OLMo-3-7B的预训练损失，并在下游任务上取得了显著的提升，包括在GSM8K上提高了5.99个百分点。
-
Instella-MoE：新的开源 MoE 语言模型发布
一份新的技术报告介绍 Instella-MoE，一个拥有 160 亿总参数的开源专家混合（MoE）语言模型。该模型在 AMD Instinct GPU 上训练，并采用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等创新技术，以实现高效的训练和推理。Instella-MoE 在预训练基准测试中表现强劲，优于其他开源模型，并在指令遵循、推理、数学、编…
-
新研究探索大语言模型高级微调技术 · 跟踪 3 个来源
三篇新研究论文探讨了大型语言模型监督微调 (SFT) 的高级技术。第一篇论文研究了包括 Qwen3 和 Llama 在内的不同模型规模和系列在 LoRA 和完全微调中的学习率和批次大小等最优超参数。第二篇介绍了在线自加权微调 (OSW-FT) 方法，该方法根据模型估计的成功率调整更新幅度，在 Qwen3 模型推理任务上显示出改进。第三篇论文《Stick to What You Know》专注于知识对齐 SFT，通过确保训练目标与基础模…
-
新研究揭示了大型语言模型中的“反向”转向向量
研究人员在转向向量（SVs）中发现了一种“反向检测-控制现象”，SVs是一种用于影响大型语言模型输出的技术。当具有高度辨别力的SV，本意是促进特定概念时，实际上会导致模型表现出相反的行为。该研究提出了一种在无需生成响应的情况下区分这些“反向转向向量”（ISVs）的方法，从而能够进行有针对性的符号翻转以改进转向流程。该方法在不同模型和概念的30项实验中的27项中均显示出改进。
-
AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM
AMD 发布了 Instella-MoE-16B-A3B，这是一款开源的专家混合（Mixture-of-Experts）语言模型。该模型拥有 160 亿总参数，但每个 token 仅激活 28 亿参数，利用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等架构创新，以提高训练和推理速度。虽然训练代码采用 MIT 许可且高度可重用，但模型权重是在 R…
-
利用群体遗传学工具研究AI价值动态
研究人员开发了一种方法来衡量和预测AI模型价值随时间的变化，特别是在自训练反馈循环中。该项目为期五周，利用群体遗传学工具研究这些“价值动态”。通过微调Qwen3-4B和OLMo-3-7B等模型并观察裁判如何选择训练数据，研究发现初始测量可以预测AI系统中价值变化的长期轨迹。
-
OLMo 3 7B 训练揭示结构化有害性方向
研究人员分析了 OLMo 3 7B 模型在训练过程中有害性表征的发展。他们识别出不同有害性子类别的明显但相关的线性激活方向，并观察到这些方向会随着时间演变和稳定。研究发现，分布内评估可能具有误导性，强调了进行分布外测试的必要性，并证明了后期训练方向可以有效地引导模型的行为。
-
研究发现：LLM中的人格向量在预训练早期形成
研究人员发现，像谄媚这样的特定行为特征在大型语言模型中由“人格向量”表示。这些向量在预训练过程的早期就形成了，对于OLMo-3-7B模型来说，仅占训练的最初0.22%。虽然核心表征形成迅速，但这些人格向量在整个预训练过程中会持续细化，并且不同的提取方法会揭示底层行为的不同方面。研究结果表明，这些表征是早期预训练的稳定特征，并已被证明可以迁移到Apertus-8B等其他模型。