研究人员开发了OPTScientist,一个新颖的多代理框架,旨在发现用于训练Transformer模型的新优化器程序。该系统利用四个不同的AI代理——理论家(Theorist)、设计者(Designer)、工程师(Engineer)和评审员(Reviewer)——在一个类型化的领域特定语言中协作提出、合成、评估和改进优化器候选。该框架还包括一个机制,用于在遇到表示瓶颈时扩展语言本身,从而发现了RS-MR,一种在Transformer预训练中比现有方法表现出更好性能的简化状态矩阵优化器。 AI
影响 这项研究展示了一种新的自动化科学发现方法,有可能加速更高效的AI训练方法的开发。
排序理由 学术论文,详细介绍了一个用于科学发现的新AI框架。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →