EvoTrace

EvoTrace 数据集揭示了 AI 代理如何进化代码

研究人员开发了一种名为 EvoTrace 的新方法来分析大型语言模型的进化编码过程。该数据集和配套的 EvoReplay 工具可以更深入地检查这些代理如何生成、修改和选择代码，而不仅仅是最终的性能得分。他们的发现表明，基准测试的提升通常是由一小部分编辑类型驱动的，并且存在一种令人惊讶的确定性循环模式，即删除的代码行会被重新引入。这项工作通过区分真正的算法创新和其他机制（如重新调整或过拟合），实现了对进化编码代理进行更有诊断性的评估。