实体
inspect_evals
inspect_evals
PulseAugur coverage of inspect_evals — every cluster mentioning inspect_evals across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的 arXiv 论文揭示了 AI 评估基准中的可复现性问题
一篇新发表在 arXiv 上的论文探讨了在 AI 评估中重现基准结果所面临的挑战。研究指出，许多评估单元未能重放历史声明，因为所需的证据未被绑定或无法访问。当重放成为可能时，不同的声明可以在不同分辨率级别上保持稳定，这表明在评估过程中需要更明确和可执行的推理步骤。
-
新论文质疑 AI 评估工件的可靠性
一篇新论文考察了 AI 模型基准测试中评估工件的可靠性，特别关注“Inspect Evals”。研究发现，在 124 个符合条件的单元中，有 110 个因缺少历史证据或语义基础而未能执行。对于那些成功运行的评估，确切的结果、排名和成对比较因声明解析和所用证据家族的不同而异。
-
新框架审计AI的思维链推理一致性
研究人员开发了一个名为Reasoning Consistency Scanning的新框架，用于审计AI安全评估中思维链（CoT）推理的有效性。该方法侧重于评估记录中的逻辑一致性，这与需要实验干预的忠实性不同。该框架包括一个正式的六种不一致子类型的分类法，以及一个包含60个记录的已验证基准，这些记录改编自InstrumentalEval。已为InspectScout实现了一个工作扫描器，证明了推理不一致是可检测的，并且在不同的AI模型…