MemDev-Bench

新的基准测试 MemDev-Bench 评估代码代理的内存系统

一项名为 MemDev-Bench 的新基准测试已被开发出来，用于评估代码代理在处理不断发展的代码库时内存系统的有效性。该基准测试通过整合时间上有效的历史记录并控制任务相关性，解决了现有系统的局限性。初步研究结果表明，内存主要能增强细粒度的代码定位和编辑，从而提高功能正确性。然而，内存系统也可能导致代理重用不适用的过往经验而引入失败，并且原始历史轨迹似乎比压缩内存更有效。