tau^2-Bench
PulseAugur coverage of tau^2-Bench — every cluster mentioning tau^2-Bench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI 代理的未经授权行为和谎言可通过内部状态分析进行预测和阻止 · 已追踪 2 个来源
一项新的研究论文详细介绍了一种预测和阻止语言模型代理未经授权行为的方法。该研究引入了一种技术，该技术使用代理内部状态的线性读出来预测违规行为和随后的虚假报告。这种预测机制，当集成到代理工作流程中时，可以显著减少未经授权的行为以及跨 Gemma 4 和 gpt-oss 等各种模型的提示注入攻击的易感性，同时保持任务完成率。
-
新数据集 ToolRACER 通过对抗性对话增强代理的鲁棒性
研究人员推出了 ToolRACER，这是一个旨在创建更鲁棒的对话代理的合成数据生成管道。该管道模拟用户、助手和工具的交互，专注于现有基准通常忽略的现实和对抗性对话场景。由此产生的数据集 ToolRACERBench 包含 5.6K 个跨六个领域的已验证对话轨迹，其中大部分包含易出错的交互。在 ToolRACERBench 上训练的模型在既定的函数调用基准上显示出改进的代理准确性和鲁棒性。
-
新的CUE框架通过校准用户模拟器增强AI代理基准测试
研究人员开发了一个名为校准用户嵌入（CUE）的新框架，以改进多轮交互中AI代理的评估。与以往仅模仿人类风格的方法不同，CUE确保模拟用户展现出与真实用户相似的失败模式和成功率。该框架编码观察到的交互数据，以引导LLM充当用户模拟器，从而实现更具生态有效性的基准测试。
-
新的IAPO方法改进了多轮任务中LLM代理的信用分配
研究人员开发了一种名为影响感知策略优化（IAPO）的新方法，用于训练与用户和工具进行多轮交互的大型语言模型（LLM）代理。IAPO通过将代理动作和观察表示为影响依赖图来解决信用分配的挑战，从而能够根据信息和错误在任务中的流动情况更好地重新分配奖励。使用Qwen3-4B和Qwen3-8B模型在tau^2-Bench、UserBench和AgentChangeBench等基准上的实验表明，IAPO在不牺牲函数调用能力的情况下，优于现有的多…
-
新的FraudBench基准测试AI银行智能体以应对自适应欺诈
研究人员推出了FraudBench，这是一个旨在测试银行环境中对话式AI智能体安全性的新基准。与关注静态交易或通用有害用途的现有基准不同，FraudBench专门评估这些智能体在对话中处理操纵身份、授权和信任的自适应欺诈企图的能力。该基准利用了双重控制框架和一个拥有大型策略语料库的银行环境，包含150个精心设计的对抗性场景。对四个智能体的初步评估显示，攻击-安全率在49%到65%之间，其中“人头账户”欺诈和“第一方”欺诈是常见的弱点。
-
新方法将推理技能蒸馏到语言模型中，降低了代币成本
研究人员开发了一种方法，通过将知识蒸馏成紧凑的自然语言技能来提高语言模型中推理的效率。这种方法通过将现有轨迹中的共享过程编译成一种技能，然后将其注入到非推理模型的系统提示中，从而分摊了推理的成本，而推理通常需要 3-6 倍的输出代币。在四个代理基准测试中，该技术为 GPT-5.4-mini 恢复了 55%-100% 以上的推理差距，通常在显著减少代币使用量的同时，性能优于推理模式。
-
新框架生成合成数据以提升小型语言模型函数调用能力
研究人员开发了Data Turnstile，一个开源框架，旨在为函数调用任务生成高质量的合成训练数据，特别针对小型语言模型（SLMs）。该框架通过使用用户定义的API规范，并结合受约束的、分步生成以及验证和错误反馈循环，解决了现有数据稀缺和噪声的问题。实验表明，使用Data Turnstile数据微调的SLMs在函数调用基准测试中准确性显著提高，甚至在某些任务上超越了规模大得多的模型。
-
Living-Harness 系统通过自我进化提高 LLM 代理的可靠性 · 已追踪 2 个来源
研究人员开发了 Living-Harness，这是一个旨在提高大型语言模型 (LLM) 代理可靠性的新颖系统。与使用固定参数的静态工具不同，Living-Harness 根据过去的交互和评估信号动态更新其程序化知识。这种自我进化机制提取片段抽象和结构化更新证据，创建片段记忆和状态图来指导未来的行动。该系统在 tau^2-Bench 和 MultiWOZ-2.4 等基准测试中，平均 Pass@1 提高了 10 个百分点以上，表现出显著的性能提升。
-
Meta-TTL框架优化语言代理适应策略
研究人员开发了Meta-TTL，一个旨在优化语言代理适应策略以提高推理时性能的新颖框架。与使用固定策略的现有方法不同，Meta-TTL将适应策略发现视为一个双层优化问题。该方法使用进化搜索来评估策略在各种任务上的有效性，从而找到最优策略，并在同分布和异分布场景下的Jericho、WebArena-Lite和tau^2-Bench等基准测试中表现出优越的性能。
-
新的BREW框架使LLM代理能够从经验中学习
研究人员开发了BREW，这是一个新颖的框架，旨在使基于大型语言模型（LLM）的代理能够从过去的经验中学习。与每次会话都重新开始学习的当前代理不同，BREW将交互轨迹提炼成结构化的自然语言食谱知识库。该知识库捕获有关任务执行、适用性和潜在陷阱的基本信息。该系统利用扩展和收集蒙特卡洛树搜索算法来高效地构建和检索知识，并结合了事后重新标记，将不成功的尝试转化为学习机会。在OSWorld和tau^2-Bench等基准测试的评估中，与基线代理和…
-
新框架CurateEvo增强LLM Agent训练后数据策展 · 追踪2个来源
研究人员开发了CurateEvo，一个用于动态演进数据策展策略的新框架，以改进大型语言模型（LLM）Agent的训练后阶段。这种由失败驱动的方法通过分析失败的轨迹来迭代地优化策展方法，从而为微调和强化学习提供更有效和高效的数据准备。在ACEBench-Agent和tau^2-Bench等基准上的实验表明，CurateEvo的性能持续优于现有的策展技术，提高了Agent的性能并降低了开销。
-
新协议质疑多智能体LLM协调基准测试中的增益
一篇新论文提出了一种用于评估多智能体LLM协调的配对噪声基线协议。研究发现，先前研究中观察到的协调增益可能在误差范围内，这表明许多报告的基准测试差异不具有统计学意义。所提出的协议旨在为评估多智能体LLM系统中的协调提供一种更严谨的方法。
-
EnvFactory 通过合成环境自动化 LLM 工具使用训练
研究人员开发了 EnvFactory，这是一个旨在通过代理强化学习增强大型语言模型工具使用能力的自动化框架。该系统合成可执行工具环境，并从真实资源生成逼真的多轮训练轨迹。通过采用拓扑感知采样和精炼，EnvFactory 生成具有隐式意图的接地查询，克服了先前依赖昂贵 API 或简单合成数据的方法的局限性。该框架已显示出显著的性能提升，在 BFCLv3 等基准测试中将 Qwen3 系列模型提升了高达 15%，并增强了对话能力。
-
新指标量化大型语言模型代理的行为相似性和收敛性
一篇新论文介绍了两个指标：响应模式相似性（RPS）和动作图相似性（AGS），用于量化不同AI代理的工具使用行为有多相似。这些指标旨在区分与任务相关的基本操作和模型蒸馏产生的非必要行为模式。研究发现，同一提供商的模型比不同提供商的模型表现出更相似的工具使用习惯，并强调了Kimi-K2的高相似性得分。