PulseAugur
实时 16:07:50
English(EN) Quarantining a Flaky LLM Test Without Deleting It

LLM测试团队隔离不稳定的测试而不是删除它们

一个软件开发团队设计了一种方法,可以在其LLM测试框架中管理不可靠的测试,而无需删除它们。这种方法被称为“隔离”,它允许测试在每次代码提交时保持运行,但阻止它们阻塞合并过程。这种策略确保测试继续提供系统行为的数据,使开发人员能够跟踪测试的失败率并识别回归,这与简单地跳过它们(使其失效)不同。 AI

影响 为LLM开发中维护测试可靠性提供了一种方法,改进了CI/CD管道。

排序理由 描述了在LLM上下文中管理软件测试的一种特定技术。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM测试团队隔离不稳定的测试而不是删除它们

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Multigrid ·

    隔离一个不稳定的LLM测试而不删除它

    <p>The pressure to delete a flaky test arrives about ten minutes after the third unrelated pull request goes red because of it. Deleting it is a real loss: that test encoded something somebody understood about the system. Quarantine is the alternative, and it is more than a skip …