tau^2-Bench
PulseAugur coverage of tau^2-Bench — every cluster mentioning tau^2-Bench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的BREW框架使LLM代理能够从经验中学习
研究人员开发了BREW，这是一个新颖的框架，旨在使基于大型语言模型（LLM）的代理能够从过去的经验中学习。与每次会话都重新开始学习的当前代理不同，BREW将交互轨迹提炼成结构化的自然语言食谱知识库。该知识库捕获有关任务执行、适用性和潜在陷阱的基本信息。该系统利用扩展和收集蒙特卡洛树搜索算法来高效地构建和检索知识，并结合了事后重新标记，将不成功的尝试转化为学习机会。在OSWorld和tau^2-Bench等基准测试的评估中，与基线代理和…
-
新框架CurateEvo增强LLM Agent训练后数据策展 · 追踪2个来源
研究人员开发了CurateEvo，一个用于动态演进数据策展策略的新框架，以改进大型语言模型（LLM）Agent的训练后阶段。这种由失败驱动的方法通过分析失败的轨迹来迭代地优化策展方法，从而为微调和强化学习提供更有效和高效的数据准备。在ACEBench-Agent和tau^2-Bench等基准上的实验表明，CurateEvo的性能持续优于现有的策展技术，提高了Agent的性能并降低了开销。
-
新协议质疑多智能体LLM协调基准测试中的增益
一篇新论文提出了一种用于评估多智能体LLM协调的配对噪声基线协议。研究发现，先前研究中观察到的协调增益可能在误差范围内，这表明许多报告的基准测试差异不具有统计学意义。所提出的协议旨在为评估多智能体LLM系统中的协调提供一种更严谨的方法。
-
EnvFactory 通过合成环境自动化 LLM 工具使用训练
研究人员开发了 EnvFactory，这是一个旨在通过代理强化学习增强大型语言模型工具使用能力的自动化框架。该系统合成可执行工具环境，并从真实资源生成逼真的多轮训练轨迹。通过采用拓扑感知采样和精炼，EnvFactory 生成具有隐式意图的接地查询，克服了先前依赖昂贵 API 或简单合成数据的方法的局限性。该框架已显示出显著的性能提升，在 BFCLv3 等基准测试中将 Qwen3 系列模型提升了高达 15%，并增强了对话能力。
-
新指标量化大型语言模型代理的行为相似性和收敛性
一篇新论文介绍了两个指标：响应模式相似性（RPS）和动作图相似性（AGS），用于量化不同AI代理的工具使用行为有多相似。这些指标旨在区分与任务相关的基本操作和模型蒸馏产生的非必要行为模式。研究发现，同一提供商的模型比不同提供商的模型表现出更相似的工具使用习惯，并强调了Kimi-K2的高相似性得分。