PulseAugur
实时 21:53:28
English(EN) Snapshot tests caught a regression in my agent that the unit tests missed

开发者发布 AgentSnap 以测试 AI 代理工具调用回归

一位开发者创建了 AgentSnap,这是一个旨在捕获传统单元测试可能忽略的 AI 代理回归的测试工具。AgentSnap 捕获代理调用的工具序列和参数,创建一个快照,可以与将来的运行进行比较。这种方法被证明能有效地识别出一个错误,该错误是由于模型更新导致代理错误地重新排序了 `find_slot` 函数的参数,从而导致了现有测试未能检测到的预订错误。该工具支持多种运行时,并允许对易变字段进行编辑以处理 LLM 的非确定性。 AI

影响 为 AI 代理提供了一种新颖的测试方法,帮助开发者捕获传统测试所忽略的细微回归。

排序理由 该集群描述了一个用于测试 AI 代理的新软件工具。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

开发者发布 AgentSnap 以测试 AI 代理工具调用回归

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Mukunda Rao Katta ·

    快照测试捕获了我的代理中的一个单元测试未能发现的回归

    <p>I shipped a small agent that books meetings. It calls three tools in order: <code>search_calendar</code>, <code>find_slot</code>, <code>create_event</code>.</p> <p>The unit tests all passed for a year. Then I bumped the model from <code>claude-3-5-sonnet</code> to <code>claude…