PoinTriE

PoinTriE框架提升点云视频迁移学习效率

研究人员推出了一种新颖的PoinTriE框架，旨在提高点云视频迁移学习的效率。该框架通过合成伪运动轨迹并利用多模态对比学习、刚性旋转预测和运动分布散度进行密集自监督，来解决现有方法的局限性。在微调过程中，PoinTriE冻结预训练骨干网络，并使用LoRA单元更新轻量级的时空侧网络，同时结合梯度流掩码以减少内存和参数开销。实验表明，PoinTriE在动作识别和语义分割任务中取得了最先进的成果。