研究人员开发了OPTScientist，一个新颖的多智能体框架，旨在自动化深度学习模型（特别是Transformer）的优化器程序发现。该系统采用类型化领域特定语言，并涉及四个不同智能体的协作方法：理论家、设计者、工程师和审阅者。OPTScientist不仅在现有的DSL结构内进行搜索，还能在遇到表示瓶颈时提出语言扩展，从而发现了一种名为RS-MR的新优化器，该优化器在Transformer预训练方面表现出优于既有基线的性能。 AI
影响 这项研究可能加速开发更高效、更有效的AI大模型训练方法。
排序理由 该集群描述了一篇关于AI模型优化新框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
