PulseAugur
中
实时 19:45:45
实体 runtime-environment perturbations

runtime-environment perturbations

PulseAugur coverage of runtime-environment perturbations — every cluster mentioning runtime-environment perturbations across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_218952 ·

    新的基准测试 ToolRobustBench 诊断 LLM 工具调用失败

    研究人员推出了 ToolRobustBench,这是一个新的基准测试,旨在评估和诊断工具调用代理的失败情况。工具调用代理是使用外部工具完成任务的 LLM 系统。该基准测试系统地引入了四类扰动——工具接口、用户意图、工具输出/观察和运行时环境——以查明工具使用流程中的具体失败点。涉及多个 LLM 和工具的实验揭示了鲁棒性显著下降,其中工具输出/观察扰动被确定为主要瓶颈,凸显了对更鲁棒的工具调用能力的需求。