实体
evalmut
evalmut
PulseAugur coverage of evalmut — every cluster mentioning evalmut across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新工具evalmut通过故意损坏的模型测试LLM评估套件
一个名为evalmut的新工具被开发出来，通过引入变异测试来解决LLM评估套件的局限性。该工具包含一个由六个确定性模型组成的“参考舰队”，每个模型都以特定、有据可查的方式故意损坏。这种方法旨在提供一种更严格、可验证的测试LLM评估套件的方法，类似于计量学中使用的认证参考物质。初步测试表明，基本的评估套件会遗漏相当一部分缺陷类别，这凸显了对更健壮的测试方法的需求。
-
新工具evalmut测试LLM评估套件是否存在隐藏缺陷
一个名为evalmut的新开源工具已被发布，以解决LLM评估套件可能无法检测到回归问题。该工具通过向被测系统注入已知缺陷，然后运行评估套件来识别哪些检查仍然通过（绿色），从而指示测试过程中存在“漏洞”。Evalmut包含18个源自真实世界缺陷的、经过来源门控的变异算子，并且不依赖LLM裁判即可确定性运行，旨在为评估套件提供可靠的信心。