研究人员开发了 WorldRoPE,一种新颖的概率性世界中心旋转嵌入,专为 Transformer 中的多视图注意力而设计。该方法通过将 patch tokens 投影到共享世界坐标系中的体积高斯基元来解决建立跨视图对应关系的挑战,捕获替代的深度假设和不确定性。WorldRoPE 将旋转算子集成到这些分布上,使注意力对不确定的键位置不那么敏感,并通过预测的几何形状引导跨视图注意力。在新的视图合成和深度估计等任务上的实验表明了其对多视图 Transformer 的有效性。 AI
影响 增强了 Transformer 中的多视图注意力能力,可能提高 3D 重建和新视图合成任务的性能。
排序理由 这是一篇研究论文,详细介绍了 Transformer 中多视图注意力的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXivLabs
- CatalyzeX
- DagsHub
- Gaussian function
- Gotit.pub
- Hugging Face
- Rope
- Rotary Positional Embedding
- ScienceCast
- transformers
- WorldRoPE
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →