Michael Noukhovitch

新的强化学习方法解决了LLM训练中的“马太效应”

一篇新的研究论文介绍了“LLM强化学习中的马太效应”，该效应观察到强化学习（RL）不成比例地提高了大型语言模型（LLM）在简单问题上的表现，而对更难的问题几乎没有改进。为了解决这个问题，该论文提出了“永不放弃”（NGU），一种自适应采样方法，它会持续为问题生成样本，直到找到正确的解决方案。这种方法动态地重新分配计算资源，优先处理更难的问题，并在Deepscaler和编码任务等基准测试中展示了每计算单位的改进性能。