研究人员开发了一种名为幂律熵搜索（PLES）的新方法，以更有效地估计大型语言模型（LLM）的超参数缩放定律。该方法利用多保真度贝叶斯优化，侧重于减少缩放定律估计的整体不确定性，而不是优化单一目标。PLES 选择最大化每单位计算成本不确定性降低的候选配置，优先考虑信息量大的小规模实验。在合成数据、代理模型和实际 LLM 预训练运行上的评估表明，PLES 以传统网格搜索方法所需计算预算的十分之一不到的成本实现了准确的缩放定律。 AI
影响 该方法可以显著降低调整 LLM 的计算成本，从而可能加速研究和开发。
排序理由 学术论文，详细介绍了一种估计 LLM 超参数缩放定律的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
