Agnostics LiveCodeBench

新流程改进了 LLM 的低资源代码生成能力

研究人员开发了一种新颖的三阶段流程，以增强 Julia 等编程语言的低资源代码生成能力。该方法解决了训练较少见的语言的小型语言模型所面临的数据稀缺和高计算成本问题。该流程利用编译器和测试反馈合成经过验证的训练数据，使用这些数据微调小型语言模型以建立语法理解，然后采用基于输入/输出测试的可验证奖励的强化学习。这种方法在 Julia 和其他低资源语言的基准测试中显著提高了性能，同时比以前最先进的方法使用了更少的数据和计算资源。