实体
3D Rotary Positional Embeddings
3D Rotary Positional Embeddings
PulseAugur coverage of 3D Rotary Positional Embeddings — every cluster mentioning 3D Rotary Positional Embeddings across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Volume Transformer 适配通用 Transformer 模型以实现 3D 场景理解
研究人员开发了 Volume Transformer (Volt)，这是一种将通用 Transformer 模型适配于 3D 场景理解任务的新型架构。Volt 将 3D 场景划分为体积块标记，并利用具有 3D 旋转位置嵌入的全局自注意力机制。初步实验表明，Volt 需要数据高效的训练策略，包括强数据增强、正则化以及从卷积教师模型进行蒸馏，才能取得有竞争力的结果。当增加监督信号进行扩展时，Volt 的表现优于特定领域的 3D 主干网络，…
-
新框架增强了具有时空感知的AI模拟
研究人员开发了一个新框架，以增强用于物理模拟的机器学习模型，特别解决了当前训练范式中的局限性。他们的方法引入了用于空间一致性的多节点预测、用于稳定性的使用交叉注意力的时域校正机制，以及用于捕捉旋转对称性的具有旋转位置嵌入的几何归纳偏置。这些创新在多种架构和数据集上进行了评估，显示出在准确性和稳定性方面的一致改进，尤其是在长期预测方面。