一位开发者衡量了 LLM 中自验证的有效性，发现虽然它可以提高精度，但通常会以降低整体交付率为代价。确定的关键问题是将精度用作指标的误用，因为在应用过滤时，精度在结构上不可能降低。更准确的评估需要同时考虑精度和覆盖率，这表明一个有缺陷的验证器会拒绝正确的答案，从而在某些情况下导致整体性能下降。 AI
影响 强调了在评估 LLM 技术（如自验证）时准确选择指标的重要性。
排序理由 该条目是一篇观点文章，是对一项技术的衡量，而不是主要发布或研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>"Ask the model to check its own answer" is one of those techniques everybody repeats and nobody measures. So I measured it, on 4,000 generated problems where the ground truth is known by construction.</p> <p>The first version of my own page got the measurement wrong, and the w…