PulseAugur
中
实时 22:39:21
实体 rotation group SO(4)

rotation group SO(4)

PulseAugur coverage of rotation group SO(4) — every cluster mentioning rotation group SO(4) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_233453 ·

    新的正交超连接提高了 Transformer 的稳定性

    研究人员引入了正交超连接 (oHC) 作为 Transformer 的一种新颖架构，旨在提高训练稳定性和性能。与标准的超连接 (HC) 或流形约束超连接 (mHC) 不同，oHC 将混合矩阵限制在 SO(n) 的旋转群内。这确保了残差流既不会被放大也不会被衰减，从而防止训练不稳定并保持流的多样性。该论文详细介绍了一种使用四元数处理四个流的无参数实现，在各种下游任务上展示了优于基线模型的性能。