实体
sinusoidal positional encodings
sinusoidal positional encodings
PulseAugur coverage of sinusoidal positional encodings — every cluster mentioning sinusoidal positional encodings across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究探讨 Transformer 注意力机制中的功能等价性
一篇新的 arXiv 论文正式研究了 Transformer 模型中注意力机制的功能等价性。该研究区分了正弦和旋转位置编码（RoPE），证明 RoPE 显著减少了对称性，从而增强了模型的表达能力。这一发现为 RoPE 的实际成功提供了理论解释，并强调了其对线性模式连通性的影响。
-
新的神经网络架构应对复杂的科学计算问题 · 跟踪 8 个来源
研究人员正在开发新颖的神经网络架构来求解复杂的偏微分方程 (PDE) 和建模动力学系统。这包括用于离子传输的面向结构的随机神经网络 (SO-RaNN)，用于具有已知图结构的_时间序列_预测的_信息_神经_控制_微分方程 (INDEQS)，以及用于高保真 PDE 解的_启动器-迭代器_神经算子 (SINO)。此外，还提出了正交正则化 (OrthoReg) 来通过防止组件之间的重叠来改进混合符号-神经模型，而其他工作则探索了现代神经网络架…