实体
Olmo-3-32B
Olmo-3-32B
PulseAugur coverage of Olmo-3-32B — every cluster mentioning Olmo-3-32B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
艾伦研究所发布 Olmo-core 3，提高 LLM 训练吞吐量
人工智能研究所 (Ai2) 发布了 Olmo-core 3，这是其 Olmo 语言模型的开源训练框架。新版本引入了分布式数据并行方法，取代了之前的全分片数据并行。这一改变通过确保每个 GPU 保留其模型分区，并且仅将选定的 token 行发送到相关专家，从而显著提高了吞吐量，并降低了与存储所有参数相关的“容量税”。
-
开源 Soofi S 30B-A3B 模型发布，支持德语和英语
研究人员推出 Soofi S 30B-A3B，一个专为德语和英语设计的新型开源基础模型。该模型采用混合 Mamba-Transformer 架构，每个 token 只激活其 300 亿参数中的 30 亿，这为长上下文应用提供了显著的吞吐量优势。Soofi S 在约 27 万亿 token 上进行了训练，并展现出与更大密集模型相媲美的性能，尤其在代码生成任务上表现出色，超越了其他欧洲主权模型。该模型在慕尼黑的 Deutsche Tele…
-
新方法检测代码LLM中的功能性记忆
研究人员开发了一种新方法来检测代码语言模型中的功能性记忆，超越了简单的文本重叠。通过比较一个接触过目标代码的中间训练模型和一个参考模型，他们可以识别出是否正在复制功能逻辑，而不仅仅是逐字文本。这项研究使用了Olmo-3-32B和Python代码，采用文本相似性和基于执行的功能相似性指标来证明功能性记忆的存在。研究结果强调了需要先进的审计指标来捕捉代码生成中的功能等价性。