研究人员已将递归自我改进（RSI）应用于 AI 模型开发的预训练阶段，这是一种新颖的方法，与以往侧重于训练后增强的工作不同。这篇论文详细介绍了这种新方法，它将复杂的预训练过程分解为更小、可管理的循环，以迭代地改进整个系统，包括数据管道和训练基础设施。其成果是 801-30B-A3B-Base 模型，这是一个拥有 300 亿参数的混合专家模型，在三个月内使用 11.8 万亿个 token 进行训练。该基础模型表现强劲，优于几个可比模型，即使经过轻量级微调，在代理基准测试中也取得了高分。 AI
影响 通过在训练过程早期应用自我改进技术，这项研究可能带来更高效、更有效的 AI 模型开发。
排序理由 该集群描述了一篇研究论文，其中详细介绍了一种新颖的 AI 模型预训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
