LogDx-CI

新基准测试评估用于LLM调试的日志缩减工具

已开发出新的基准测试LogDx-CI，用于评估在CI失败场景下，用于大型语言模型（LLM）根本原因诊断的日志缩减工具。该基准测试在35个真实的GitHub Actions失败案例中比较了11种不同的缩减工具，并由各种LLM调试器家族对性能进行评分。主要发现表明，混合grep+tail路由器在成本和质量之间提供了强大的平衡，并且虽然基于代理的调试可以减轻较弱日志缩减的影响，但会增加运营成本。