实体
Cross Attention
Cross Attention
PulseAugur coverage of Cross Attention — every cluster mentioning Cross Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
研究：特征对齐决定多模态融合策略
一项新的研究论文提出，特征对齐而非数据规模是多模态融合中选择跨注意力（cross-attention）还是拼接（concatenation）的关键因素。研究表明，当特征通过视觉-语言预训练（vision-language pretraining）预先对齐时，拼接在各种数据集规模下均显著优于跨注意力。这一发现得到了理论分析的支持，该分析显示了拼接更高的样本效率，为设计多模态大语言模型（multimodal large language …
-
VIMCAN网络融合Mamba和注意力机制，实现实时三维人体姿态估计
研究人员开发了VIMCAN，一种新颖的用于视觉-惯性三维人体姿态估计的混合网络。该架构集成了Mamba的高效序列建模能力和交叉注意力机制的空间推理能力，以融合RGB关键点和IMU数据。VIMCAN在TotalCapture和3DPW等基准测试中取得了最先进的准确性，优于基于Transformer的方法，同时还能在消费级硬件上实现超过60 FPS的实时推理。
-
新框架增强了具有时空感知的AI模拟
研究人员开发了一个新框架，以增强用于物理模拟的机器学习模型，特别解决了当前训练范式中的局限性。他们的方法引入了用于空间一致性的多节点预测、用于稳定性的使用交叉注意力的时域校正机制，以及用于捕捉旋转对称性的具有旋转位置嵌入的几何归纳偏置。这些创新在多种架构和数据集上进行了评估，显示出在准确性和稳定性方面的一致改进，尤其是在长期预测方面。