实体
SHADOWBENCH
SHADOWBENCH
PulseAugur coverage of SHADOWBENCH — every cluster mentioning SHADOWBENCH across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的ShadowBench数据集揭示了视觉语言模型在阴影推理方面的局限性
研究人员开发了ShadowBench，一个旨在测试视觉语言模型（VLMs）投射阴影推理能力的新数据集。该数据集包含真实照片，评估模型推断阴影方向、预测缺失阴影以及判断阴影一致性的能力。虽然VLMs在读取可见阴影方向方面表现出色，但在推断缺失阴影和评估物理一致性方面却面临巨大挑战，只有Gemini-3.1 Pro显示出适度的有效性提升。
-
新的SHADOWBENCH基准改进了对AI生成的数学代码的评估
研究人员推出SHADOWBENCH，一个旨在更可靠地评估自动形式化数学语句语义对齐的新基准。该基准使用一种名为SA-Pass的新颖指标，通过辅助“影子”语句验证生成的语句，以确保它们准确捕捉预期含义。在测试中，Claude Code (Opus 4.8) 结合 Numina-Lean-Agent 实现了 61.8% 的编译率和 11.2% 的 SA-Pass 分数。SA-Pass 指标与专家判断高度一致，实现了 98.8% 的二元一致性。