AmbiQT

新的RL方法提高了LLM的训练效率和解决方案多样性

研究人员开发了两种新方法 EliteReplay 和 ReFlow，以提高大型语言模型 (LLM) 的强化学习 (RL) 训练后效率和多样性。EliteReplay 将 GRPO 与质量-多样性搜索相结合，以保留更广泛的正确解决方案，在文本到SQL任务的准确性和策略保留方面优于基线。另一方面，ReFlow 专注于系统-算法协同设计，利用经验回放和自适应资源分配，在保持模型在推理和代理任务上的质量的同时，将训练吞吐量显著提高了 2.06 倍。