实体
Agent-EvalKit
Agent-EvalKit
PulseAugur coverage of Agent-EvalKit — every cluster mentioning Agent-EvalKit across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AWS Labs 代理评估示例使用相同的模型作为裁判和被评估对象
来自 AWS Labs 的一个名为 Agent-EvalKit 的示例评估套件被发现同时使用相同的 AI 模型来评估和评判 AI 代理。这种裁判模型与被评估模型相同的设置，是在该套件的一个 QA 示例中发现的。作者认为，这种缺乏独立裁判的做法，虽然可能出于成本和延迟的考虑，但并未明确披露，引发了对评估结果有效性的担忧。
-
发布新工具包用于系统化评估 AI 代理
一个名为 Agent-EvalKit 的新开源工具包已发布，用于系统化地评估 AI 代理。该工具包集成了多种 AI 编码助手，包括 Claude Code、Kiro CLI 和 Kilo Code。Agent-EvalKit 在 Apache 2.0 许可下可用，为评估 AI 代理性能提供了一个框架。