CauterRule

CauterRule 工具揭示 LLM 基准测试缺陷，而非模型弱点

一款名为 CauterRule 的新开源工具已发布，旨在通过将重复的代理失败转换为固定规则来提高 LLM 基准测试的可靠性。初步现场测试显示，问题并非出在模型本身，而是出在基准测试框架上，该框架将解析器脆弱性和数据问题误解为模型弱点。在实施了改进的 JSON 解析、结果重置和时间戳修复等修复措施后，基准测试的信噪比得到了显著改善，从而能够更准确地评估模型性能。