Anthropic 未发布的 "Numbat" 模型(内部代号 Mythos 5)的检查点已浮出水面。该检查点包含一个完整的模型架构参考实现,总计约 7.72 TB,分布在 772 个分片中,是大型训练运行中的中期预训练产物。该架构采用混合 Gated DeltaNet (GDN) 和 Multi-head Latent Attention (MLA) 堆栈,并包含 Mixture-of-Experts 层。 AI
影响 可能提前接触到 Anthropic 的下一代模型架构和能力。
排序理由 前沿实验室下一代模型的泄露检查点。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →