PAST-Bench

新基准PAST-Bench评估AI智能体的自我改进能力

研究人员推出了PAST-Bench，这是一个旨在评估个人AI智能体递归自我改进能力的新基准。该基准测试智能体是否能有效利用积累的经验来提高在记忆、过程重用和信息收集等各种任务中的未来表现。初步研究结果表明，虽然智能体确实能从保留的经验中获得提升，但这种进步在不同能力和模型之间并不一致。为解决这些局限性，该研究还开发了Hermes+，一个增强型智能体框架，它包含有针对性的干预措施，以改善对过往经验的利用，特别是在替换过时信息方面。