实体 SA-Pass

SA-Pass

PulseAugur coverage of SA-Pass — every cluster mentioning SA-Pass across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_228819 · Sep 1 · 04:00

新的SHADOWBENCH基准改进了对AI生成的数学代码的评估

研究人员推出SHADOWBENCH，一个旨在更可靠地评估自动形式化数学语句语义对齐的新基准。该基准使用一种名为SA-Pass的新颖指标，通过辅助“影子”语句验证生成的语句，以确保它们准确捕捉预期含义。在测试中，Claude Code (Opus 4.8) 结合 Numina-Lean-Agent 实现了 61.8% 的编译率和 11.2% 的 SA-Pass 分数。SA-Pass 指标与专家判断高度一致，实现了 98.8% 的二元一致性。