Anthropic 推出了一个新的命令行工具 `claude plugin eval`,用于评估与 Claude Code 一起使用的插件的性能。该工具允许开发者测试他们的插件被 Claude 模型触发和使用的有效性,并比较插件激活前后的性能。评估过程包括六种类型的评分器,其中四种是免费的,用于分析工具使用和文件存在等方面的表现,另外两种则需要计费一个 judge model 来评估响应质量并与参考答案进行比较。主要指标是 Delta (Δ),它量化了插件对结果的贡献,帮助开发者识别诸如技能未根据自然语言措辞触发等问题。 AI
影响 该工具旨在简化插件开发,提高 Claude 利用外部工具的可靠性。
排序理由 该集群描述了 Anthropic 发布的用于在其 Claude Code 环境中评估插件的新工具。
在 Mastodon — mastodon.social 阅读 →
- Anthropic
- Claude
- Claude Code
- Claude Code v2.1.269
- Claude Haiku-4-5
- claude plugin eval
- .claude-plugin/plugin.json
- Claude Sonnet-5
- plugin.json
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →