Cross Attention
PulseAugur coverage of Cross Attention — every cluster mentioning Cross Attention across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
用户轨迹预测研究论文被作者撤回
一篇题为“用户轨迹预测统一全局和局部时间信息”的研究论文被提交至arXiv，提出了一种结合多层感知机（MLP）、多尺度卷积神经网络（MSCNN）和交叉注意力（CA）的新型模型，以改进轨迹预测。该模型旨在捕捉用户移动数据中的全局和局部时间模式，解决了用户行为不同时间尺度带来的挑战。实验结果表明，与ModernTCN模型相比，该模型在保持相似推理时间的同时，降低了均方误差（MSE）和平均绝对误差（MAE）。然而，该论文后来被作者Wei Hao撤回。
-
新的AI框架提升云调度效率和资源管理 · 跟踪3个来源
研究人员开发了先进的强化学习框架来优化云工作流调度。第一种方法GA-HRL使用图注意力网络来建模任务依赖关系，并使用分层半马尔可夫决策过程进行调度，在Alibaba集群跟踪数据上显示出容器利用率和能耗的改进。第二种方法HiGFRL采用新颖的三级状态表示和融合驱动的双网络架构，以更好地捕捉任务依赖关系和集群动态，显著缩短了完成时间和提高了任务流转时间。第三种方法MCRL2专注于微服务调度，通过多资源交叉注意力增强学习来增强强化学习，在生…
-
双Transformer架构提升多摄像头视角推荐性能
研究人员开发了一种新颖的具有交叉注意力的双Transformer架构，用于媒体制作中的多摄像头视角推荐。该模型在TVMCE数据集上的表现显著优于现有的最先进方法，实现了56.60%的[email protected]。使用SwinV2骨干网络的进一步实验将性能提高到69.65%的[email protected]，并展示了该模型在编辑风格数据高效个性化方面的能力。
-
研究：特征对齐决定多模态融合策略
一项新的研究论文提出，特征对齐而非数据规模是多模态融合中选择跨注意力（cross-attention）还是拼接（concatenation）的关键因素。研究表明，当特征通过视觉-语言预训练（vision-language pretraining）预先对齐时，拼接在各种数据集规模下均显著优于跨注意力。这一发现得到了理论分析的支持，该分析显示了拼接更高的样本效率，为设计多模态大语言模型（multimodal large language …
-
VIMCAN网络融合Mamba和注意力机制，实现实时三维人体姿态估计
研究人员开发了VIMCAN，一种新颖的用于视觉-惯性三维人体姿态估计的混合网络。该架构集成了Mamba的高效序列建模能力和交叉注意力机制的空间推理能力，以融合RGB关键点和IMU数据。VIMCAN在TotalCapture和3DPW等基准测试中取得了最先进的准确性，优于基于Transformer的方法，同时还能在消费级硬件上实现超过60 FPS的实时推理。
-
新框架增强了具有时空感知的AI模拟
研究人员开发了一个新框架，以增强用于物理模拟的机器学习模型，特别解决了当前训练范式中的局限性。他们的方法引入了用于空间一致性的多节点预测、用于稳定性的使用交叉注意力的时域校正机制，以及用于捕捉旋转对称性的具有旋转位置嵌入的几何归纳偏置。这些创新在多种架构和数据集上进行了评估，显示出在准确性和稳定性方面的一致改进，尤其是在长期预测方面。