Power-Law Entropy Search

新方法高效估计LLM超参数缩放定律

研究人员开发了一种名为幂律熵搜索（PLES）的新方法，以更有效地估计大型语言模型（LLM）的超参数缩放定律。该方法利用多保真度贝叶斯优化，侧重于减少缩放定律估计的整体不确定性，而不是优化单一目标。PLES 选择最大化每单位计算成本不确定性降低的候选配置，优先考虑信息量大的小规模实验。在合成数据、代理模型和实际 LLM 预训练运行上的评估表明，PLES 以传统网格搜索方法所需计算预算的十分之一不到的成本实现了准确的缩放定律。