Ashwin Ugale 开发了一个名为 muteval 的新评估工具，旨在为 LLM 测试提供更可靠的评分。与总是输出数值分数的传统工具不同，当底层测试套件损坏、未生成可测试的变异体或错误阻止了完整评估时，muteval 会拒绝提供分数。这种“故障关闭”方法优先考虑诚实性，确保仅在统计上有意义时才给出分数，通常伴随威尔逊95%置信区间以提高精度。 AI
影响 该工具可以通过防止损坏的测试套件产生误导性分数来提高 LLM 评估的可靠性。
排序理由 该条目描述了一个用于 LLM 评估的新软件工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p>Most eval tools always hand you a number. Mine sometimes refuses — and I think that refusal is the more useful behavior. Here's why.</p> <h2> The vacuous green </h2> <p>muteval reports a mutation score: of the regressions I injected into your system, what percent did your eval…