研究人员开发了ArbiGraph，一个旨在评估使用工具的语言代理的上下文管理能力的新基准生成器。ArbiGraph使用自然语言问题与Python求解器配对，创建具有不同长度和依赖关系的复杂、可验证的任务图。使用ArbiGraph对Qwen3.5-27B代理进行的初步评估显示，在依赖任务上性能显著下降，突显了在单任务评估中不明显的局限性。 AI
影响 强调了AI代理上下文管理中的关键局限性，可能指导未来复杂推理模型的开发。
排序理由 该集群包含一篇介绍用于评估AI模型的新基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2607.20764v1 Announce Type: new Abstract: We introduce ARBIGRAPH, a benchmark generator for evaluating whether tool-assisted language agents can retain, update, compose, and discard task-relevant context across extended reasoning workflows. ARBIGRAPH represents each task as…