Multimodal Floorplan Encoder

新的MMFE系统统一了用于AI任务的各种二维室内表示

研究人员开发了多模态楼层平面图编码器（MMFE），一个旨在将CAD图纸、栅格图像和密度图等各种二维室内表示处理成统一的潜在网格的系统。这种方法旨在促进跨模态学习和以几何为中心的任务，如对齐和检索。MMFE利用一个冻结的DINOv3骨干网络和一个可训练的密集预测Transformer（DPT）头部，并使用InfoNCE目标进行训练，以对齐不同模态中的相应区域。该系统还通过特征网格变形和相似变换来整合几何一致性，以增强对失真的鲁棒性。