RealityBench

新的RealityBench基准测试视觉语言模型在体力劳动记录方面的能力

研究人员开发了RealityBench，这是一个使用Blender中的模拟环境的新基准，用于评估视觉语言模型（VLM）记录人类体力劳动能力的任务。该基准评估两项任务：可接受性（视图是否是合适的工作证明）和文档记录（理解环境的任务相关状态）。虽然顶级的VLM可以记录帧中的文本，但它们在读取测量值和判断空间关系方面存在困难。人类评分者在可接受性方面存在显著分歧，即使是最好的VLM在该任务上的表现也与单个评分者相当。