ArbiGraph

新的ArbiGraph基准揭示了AI代理中的上下文管理缺陷

研究人员开发了ArbiGraph，一个旨在评估使用工具的语言代理的上下文管理能力的新基准生成器。ArbiGraph使用自然语言问题与Python求解器配对，创建具有不同长度和依赖关系的复杂、可验证的任务图。使用ArbiGraph对Qwen3.5-27B代理进行的初步评估显示，在依赖任务上性能显著下降，突显了在单任务评估中不明显的局限性。