已开发出新的基准测试LogDx-CI，用于评估在CI失败场景下，用于大型语言模型（LLM）根本原因诊断的日志缩减工具。该基准测试在35个真实的GitHub Actions失败案例中比较了11种不同的缩减工具，并由各种LLM调试器家族对性能进行评分。主要发现表明，混合grep+tail路由器在成本和质量之间提供了强大的平衡，并且虽然基于代理的调试可以减轻较弱日志缩减的影响，但会增加运营成本。 AI
影响 该基准测试将通过识别最有效的日志缩减工具来帮助优化LLM调试工作流程，从而可能降低成本并提高诊断准确性。
排序理由 该集群包含一篇研究论文，介绍了一个用于评估LLM辅助调试工具的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
