claude plugin eval
PulseAugur coverage of claude plugin eval — every cluster mentioning claude plugin eval across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
开发者详解 Claude Code 追踪调试以优化 AI 模型性能
一位开发者分享了使用详细追踪信息调试 AI 模型性能的见解，特别是使用 Claude Code 标签及其插件评估工具。该方法涉及比较成功和失败的运行，以精确找出出现分歧的步骤，从而进行有针对性的修复。一个例子说明了这种方法：没有插件的模型错误地尝试手动设置，而启用插件的版本则正确识别并利用了必要的参考文件。
-
Anthropic 的 Claude Code 新增插件评估工具
Anthropic 推出了其 Claude Code 平台的新评估工具，名为 `claude plugin eval`。这个命令行界面允许开发者通过比较加载插件前后性能的差异来衡量其插件或技能的实际影响。该工具会报告性能的 delta (Δ)，鼓励开发者仅在技能明显改善结果时才合并，而不是依赖主观评估。
-
Anthropic 发布了 Claude Code 的官方评估运行器。我当天就让我的工具运行起来了。现场笔记。#ai #claude #llm #testing #software #coding
Anthropic 发布了 Claude Code 的官方评估运行器，使开发人员能够更有效地测试其插件。config-drift-checker 工具的作者详细介绍了他们将现有运行器迁移到新官方系统的经验，并强调了几个
-
Anthropic 推出 Claude Code 插件评估工具
Anthropic 推出了一个新的命令行工具 `claude plugin eval`，用于评估与 Claude Code 一起使用的插件的性能。该工具允许开发者测试他们的插件被 Claude 模型触发和使用的有效性，并比较插件激活前后的性能。评估过程包括六种类型的评分器，其中四种是免费的，用于分析工具使用和文件存在等方面的表现，另外两种则需要计费一个 judge model 来评估响应质量并与参考答案进行比较。主要指标是 Delta…