实体
sturdybench
sturdybench
PulseAugur coverage of sturdybench — every cluster mentioning sturdybench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AI代理文件系统工具交互的10个新案例已测试
dev.to 上的一篇博文详细介绍了一组新的10个测试案例，旨在评估AI代理与文件系统工具正确交互的能力。这些测试可在 sturdybench/agent-tool-call-tests-sample 存储库中找到，重点关注代理在执行工具调用之前的决策过程，例如在读/写操作之间进行选择以及处理文件路径。这些案例涵盖了禁止的操作、正确的文件操作以及健壮的路径处理，包括特殊字符和目录遍历尝试等场景。
-
CI 检查捕获 AI 代理工具调用回归
本文介绍了一种旨在检测 AI 代理工具调用行为回归的持续集成 (CI) 检查。该方法包括针对预定义测试用例记录代理输出，然后在 CI 中对这些输出进行评分，而无需进行实时模型调用或 API 密钥。这种方法可确保系统提示或代理配置的更改不会无意中破坏工具的使用，从而提供一种维护代理功能的可靠方式。