sash-ua

小型裁判模型 Jev 在编码流程中表现出高准确性但影响力有限

一项涉及对 TypeSafe 开发的一个名为 Jev 的小型裁判模型进行 5300 次调用的研究表明，尽管该模型准确率很高，但在多代理编码流程中其输出通常未被采纳。Jev 被集成到一个名为 Plugin for Claude Code 的系统中，并针对三种模式进行了测试：自动咨询检查、按需工具和强制性网关。尽管准确率很高，尤其是在识别不相关代码文件方面，但流程的测量方法和标签问题阻碍了团队量化代币节省或全面评估 Jev 在开放式判断中的可靠性。