实体
BedBench
BedBench
PulseAugur coverage of BedBench — every cluster mentioning BedBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新基准揭示视觉语言模型在3D推理方面存在困难
一个名为BedBench的新基准已被开发出来，用于评估视觉语言模型的3D推理能力。该基准揭示了模型在一致使用物体属性方面存在显著的不足，尤其是在颜色计数方面，人类准确率超过93%，而最佳模型的准确率仅为7.2%。即使经过有针对性的微调，模型在可靠应用恢复的属性方面仍然存在困难，这表明在识别和持续利用信息之间存在差距。对Qwen3.5-27B的探测显示，虽然它可以恢复精确的每种颜色计数，但其生成的答案很少反映这些信息。
-
新的 BedBench 基准揭示视觉语言模型难以进行 3D 颜色计数
一个名为 BedBench 的新基准已被开发出来，用于评估视觉语言模型的 3D 推理能力。该基准突显了这些模型的一个显著弱点：虽然它们通常可以做出正确的个体判断，但在按颜色准确一致地计数对象方面存在困难。人类在 BedBench 上的表现准确率为 93.3%，而表现最佳的模型仅达到 7.2%。即使经过有针对性的微调，模型在应用恢复的属性时仍会表现出不一致性，这表明仅仅恢复信息并不能保证其在推理任务中的可靠使用。