实体
gradecore
gradecore
PulseAugur coverage of gradecore — every cluster mentioning gradecore across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新工具evalmut通过故意损坏的模型测试LLM评估套件
一个名为evalmut的新工具被开发出来，通过引入变异测试来解决LLM评估套件的局限性。该工具包含一个由六个确定性模型组成的“参考舰队”，每个模型都以特定、有据可查的方式故意损坏。这种方法旨在提供一种更严格、可验证的测试LLM评估套件的方法，类似于计量学中使用的认证参考物质。初步测试表明，基本的评估套件会遗漏相当一部分缺陷类别，这凸显了对更健壮的测试方法的需求。
-
新的AI碰撞测试工具提供可审计的LLM漏洞分级
一款名为The AI Crash Test的新型浏览器工具提供了一种确定性的方法来评估LLM漏洞，避免使用LLM裁判以确保结果可审计。该工具允许用户直接使用自己的API密钥测试模型，这些密钥永远不会发送到该工具的服务器，从而提供了一个安全且可复现的测试环境。虽然Garak和Promptfoo等现有工具提供更广泛的功能，但The AI Crash Test专注于基于浏览器的、自带密钥测试以及可验证的评分引擎的特定领域。