optics & electromagnetism

新基准评估视频嵌入中的物理信息

研究人员推出了 World Embedding Benchmark，这是一个旨在评估视频表示捕获和编码物理信息能力的新数据集。该基准包含跨越流体力学、固体力学、动力学以及光学与电磁学等多个物理领域、共计 8000 个模拟案例。实验表明，虽然预训练模型表现出较弱的跨模态物理对齐能力，但轻量级探针可以从冻结的嵌入中提取有用的物理数据。进一步的训练可以改善对齐效果，但可能会损害量化物理属性的恢复能力，这表明这两个方面之间存在权衡。