BEAST3D

BEAST3D 利用自监督学习从视频中学习三维动物行为

研究人员开发了 BEAST3D，一个自监督框架，旨在从无标签的多视角动物视频记录中学习三维视觉表示。该方法利用视觉 Transformer 预测三维高斯溅射，从而能够重建新视角并分割动物与背景。BEAST3D 即使只有四个摄像头视角也能有效地重建三维结构，使其适用于专业的实验室环境。该框架学习到的特征在下游任务中表现出色，包括新视角合成、用于行为分析的多视角姿态估计以及神经编码。