实体
FINDINGS.md
FINDINGS.md
PulseAugur coverage of FINDINGS.md — every cluster mentioning FINDINGS.md across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Voodoo Church 系统审计发现重复规则导致的隐藏bug
对Voodoo Church系统的审计发现，关键规则（如slug格式和重试策略）在不同的代码库和语言中被重复。这些旨在确保一致性的重复规则已经悄然发生分歧，导致现有测试未能捕获到bug。作者通过删除冗余的规则实现并集中化逻辑来修复了这个问题，确保系统现在依赖于这些关键功能的单一事实来源。
-
新工具evalmut测试LLM评估套件是否存在隐藏缺陷
一个名为evalmut的新开源工具已被发布，以解决LLM评估套件可能无法检测到回归问题。该工具通过向被测系统注入已知缺陷，然后运行评估套件来识别哪些检查仍然通过（绿色），从而指示测试过程中存在“漏洞”。Evalmut包含18个源自真实世界缺陷的、经过来源门控的变异算子，并且不依赖LLM裁判即可确定性运行，旨在为评估套件提供可靠的信心。