研究人员开发了 EGGROLL 方法，通过使用低秩高斯乘积而非密集权重扰动，使演化策略在大型语言模型上更加实用。这种方法虽然计算效率高，但具有可能影响稳定性的几何含义。该研究引入了 LOO-ROLL，一种保持有限秩种群场并减少 transformer 块均方误差的留一法估计器。在 GSM8K 基准测试中，LOO-ROLL 显著提高了多达 80 亿参数模型的准确性。 AI
影响 这项研究提供了一种更有效的训练大型语言模型的方法，有望在数学推理等复杂任务上实现更快的开发和更高的性能。
排序理由 详细介绍 LLM 新训练方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2609.10980v1 Announce Type: new Abstract: EGGROLL makes evolution strategies (ES) practical for LLMs by replacing dense Gaussian weight perturbations with low-rank Gaussian products, often of rank one. This choice is computationally attractive but geometrically severe: each…
EGGROLL makes evolution strategies (ES) practical for LLMs by replacing dense Gaussian weight perturbations with low-rank Gaussian products, often of rank one. This choice is computationally attractive but geometrically severe: each rank-one perturbation lies in a zero-volume sub…