English(EN) I shut down my agent-safety toolkit to audit AI graders

AI 评估公司 Authensor 转向审计 AI 评分器，修复错误

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-28 06:03

AI 评估完整性公司 Authensor 已停用其 SafeClaw 和 Authensor 策略引擎产品，专注于审计 AI 评分工具。该公司已在 SWE-bench、Promptfoo 和 NVIDIA Garak 等各种 AI 评估框架中发现并修复了大量错误，这些框架中的评分系统可能会受到被评估系统的影响。这些被归类为“评估器信任边界”故障的问题可能会损害 AI 安全指标的可靠性。Authensor 还发布了一个名为 `etb-scan` 的免费开源工具，以帮助开发人员检查自己的 AI 裁判是否存在特定漏洞。 AI

影响增强了 AI 评估指标的可靠性，这对于准确的安全性和性能评估至关重要。

排序理由该项目描述了一个新的开源工具 (etb-scan) 的发布，以及该公司将重点转向审计现有 AI 工具，而不是发布新模型或重大的研究突破。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 28 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目描述了一个新的开源工具 (etb-scan) 的发布，以及该公司将重点转向审计现有 AI 工具，而不是发布新模型或重大的研究突破。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, safety, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · John Kearney · 2026-10-28 06:03

我关闭了我的代理安全工具包以审计AI评分器

<p>Earlier this year I posted here about SafeClaw and Authensor's policy engine for AI agents. That product line is retired, and those posts now say so at the top. This is what Authensor works on instead.</p> <p>Authensor is an AI evaluation integrity firm in San Francisco. It au…

本文如何被排名

报道来源 [1]

我关闭了我的代理安全工具包以审计AI评分器

相关实体

相关话题