MVShoes

新的ShoeFit框架通过DiT架构增强虚拟鞋履试穿

研究人员推出了ShoeFit，一个旨在通过解决数据稀缺、视角错位和背景引起的颜色失真等挑战来改进虚拟鞋履试穿（VFTON）的新型框架。该系统利用MVShoes数据集（包含7305个带注释的图像三元组）和一个双流扩散Transformer（DiT）架构。ShoeFit集成了多视图条件化和3D旋转位置嵌入来处理姿势差异，并采用分层参考注意力来减轻背景干扰，旨在生成更逼真、更详细的鞋履渲染。