New PanoCtrl framework enhances text-to-panorama generation with object-centric control

研究人员推出 PanoCtrl，一个新颖的框架，旨在通过显式地连接自然语言与球形全景空间来改进文本到全景图的生成。该方法将文本描述转换为结构化的对象级球形条件，并将其集成到扩散过程中。该框架包括 PanoParse，用于预测对象语义和球形边界参数；以及 PanoControl，用于将语义和空间引导注入扩散 Transformer。为了支持这一点，创建了一个名为 PanoGround 的新数据集，其中包含对象级球形注释和方向描述。实验表明，PanoCtrl 在全景图生成的空间对齐和图像质量方面均取得了最先进的成果。 AI

影响 增强了全景图生成的控制和对齐能力，可能改进 VR/AR 内容创作。

排序理由 该集群描述了一篇关于文本到全景图生成的新颖框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• cs.CV
• DagsHub
• Gotit.pub
• Hugging Face
• PanoControl
• PanoCtrl
• PanoGround
• PanoParse
• ScienceCast

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →