Evolution Fine-Tuning

新的微调方法教会LLM跨优化任务学习

研究人员开发了一种名为Evolution Fine-Tuning (EFT)的新方法，用于教会大型语言模型 (LLM) 提高其在各种任务中的解决问题能力。与之前为每个新问题重置模型学习的方法不同，EFT使用进化搜索轨迹来提供监督，使LLM能够学习和重用解决问题的策略。这种方法在跨任务泛化方面表现出色，在未见过（held-out）的任务上平均比基础模型提高了10%以上，并在特定的优化挑战上取得了最先进的性能。