TRACE-HEI

新的“时间反转成像”技术可根据物理痕迹重建过去事件

研究人员引入了一种名为时间反转成像的新概念，旨在通过分析残留的物理印记来重建场景中的过去事件。该方法利用包括热、紫外和可见光谱在内的多模态痕迹，推断最多三分钟前发生的人与环境的交互。为了促进这项研究，开发了一个名为TRACE-HEI的新基准数据集，其中包含同步的三模态视频序列，记录了各种动作。所提出的方法结合了多模态推理和视觉-语言引导的扩散模型，以生成过去帧的合理重建，证明了超越瞬时观察来理解场景的可行性。