PerceptionDLM

PerceptionDLM实现多模态模型的并行区域感知 · 跟踪6个来源

研究人员推出了PerceptionDLM，这是一种多模态扩散语言模型，专为高效的并行区域感知而设计。该模型利用扩散语言模型的并行解码能力，同时为多个图像区域生成描述，与顺序方法相比，显著提高了推理效率。为了评估这一新功能，创建了一个并行详细局部字幕基准（ParaDLC-Bench），该基准扩展了现有基准，使其包含每张图像的多个区域掩码。实验表明，PerceptionDLM在保持具有竞争力的字幕性能的同时，为多区域感知任务提供了显著的速度提升。