Jonathan Sadeghi

新基准CaliBench测试视频世界模型的物理校准

研究人员推出了CaliBench，这是一个旨在评估视频世界模型物理校准的新基准。与评估生成结果的现有方法不同，CaliBench在离散的、物理上可解释的空间（如掷骰子或转轮盘）中对结果进行评分。这使得可以直接衡量模型准确表示特定现象不确定性的能力。该基准应用于九个场景和六个领先的视频模型，结果显示大多数模型在校准方面存在困难，通常将概率质量集中在少数几个结果上，或得分较低，尤其是在处理模糊结果时。