BC attention

新的注意力方法加速3D场景重建Transformer

研究人员开发了一种名为块状聚类注意力（BC attention）的新方法，以提高用于3D场景重建的模型Visual Geometry Grounded Transformers（VGGT）的效率。该技术通过将注意力计算限制在硬件友好的块内来减少延迟，从而降低了GPU上的计算开销和内存移动。提出的BC注意力结合了哈希超平面校准和基于阈值的误差补偿，可将全局注意力层的速度提高高达2.63倍，并将整个骨干网络的速度提高高达2.35倍，同时性能损失极小。