Tau-3 bench
PulseAugur coverage of Tau-3 bench — every cluster mentioning Tau-3 bench across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新评估方法揭示AI工具使用代理的隐藏可靠性问题
研究人员引入了一种名为前缀可执行性的新评估协议，以更全面地评估使用工具的AI代理。该方法通过检查序列中每个中间工具调用的可执行性，超越了仅仅衡量最终任务成功率。该协议包括前缀可执行性曲线（PEC）和首次错误深度（FED）等指标，揭示了仅为最终成功而优化的代理在其中间步骤中可能表现出较低的可靠性。研究结果表明，显式的预执行计划检查可以在保持具有竞争力的最终结果的同时，提高代理轨迹的可靠性。
-
新的路由式持续学习架构优化了 AI 代理的经验共享
研究人员推出了一种新颖的架构——路由式持续学习（Routed CL），旨在改进 AI 代理在各种任务中相互学习经验的方式。该系统将过去的轨迹划分为不同的簇，每个簇由一个特定的记忆系统管理。然后，一个基于 LLM 的路由器根据问题描述和记忆系统细节，决定是重用现有簇还是创建新簇，以优化学习并降低成本。
-
EvoSkill v2 系统自主提升 AI 智能体技能
研究人员推出 EvoSkill v2，这是一个新颖的三智能体系统，旨在自主提升 AI 智能体的能力。该系统通过让一个智能体将基准测试改编成插件，另一个智能体尝试任务，以及第三个智能体（进化器）根据其表现迭代重写求解器智能体的指令来运行。与之前每轮重置优化智能体的方法不同，EvoSkill v2 的进化器是有状态的，能够保留上下文并随着时间的推移提高技能。这种方法在 SpreadsheetBench v2 和 Tau-3 bench 等…
-
新的ARGUS框架增强了AI用户模拟器的可靠性
研究人员推出了一种新颖的神经符号框架ARGUS，旨在提高用于训练和评估交互式代理的用户模拟器的可靠性。与可能出现目标遗漏或策略不合规的现有基于LLM的模拟器不同，ARGUS通过动态议程堆栈和符号操作来维护用户的目标状态，严格区分状态跟踪与自然语言生成。该框架可以通过监督微调和强化学习提炼成紧凑模型，并通过在Tau-3基准和MultiWOZ数据集上使用一种名为复合行为分数（CBS）的新指标进行评估来证明其有效性。
-
Sabi-Noema 微调提升 Qwen 3.8 27B 的能力和效率
一款名为 Sabi-Noema 的新微调模型已发布，该模型基于 Qwen 3.8 27B，专注于提升 300 亿参数以下模型的增强能力和效率。此微调在编码、智能体任务和工具调用方面表现出改进的性能，在 DeepSWE 和 TB2.1 等基准测试中优于同等规模的其他模型。此外，Sabi-Noema-MLA 变体通过 MLA 注意力显著减少了 token 生成和内存使用，从而在消费级硬件上实现了更大的上下文窗口。
-
新的量子-经典混合人工智能架构提升长时推理能力
研究人员推出了一种新颖的量子-经典混合架构QART，旨在提高人工智能模型在长时推理方面的能力。QART集成了骨干语言模型与量子编码、优化和解码技术，以减轻早期错误的影响。使用DeepSeek V4 Flash、GLM-5.3和GPT-5.5等模型在六个基准测试上的初步测试表明，在大多数配置下，QART的表现优于骨干模型，在与编码相关的任务上取得了显著的提升。