Rawal Khirodkar

Sapiens2 模型家族在以人为中心的视觉任务上达到最先进水平

研究人员推出 Sapiens2，一个专为以人为中心的视觉任务设计的新型高分辨率 Transformer 模型家族。这些模型参数量从 0.4 到 50 亿不等，支持原生 1K 分辨率和高达 4K 的分层变体。Sapiens2 通过结合掩码图像重建和自蒸馏对比学习的统一预训练目标、在 10 亿张人类图像数据集上进行训练以及采用窗口注意力等增强架构以获得更长的空间上下文，从而提高了性能。