Mohammad Aflah Khan

部分 RoPE 在 Transformer 中提供 10 倍内存节省，性能损失极小

一篇新的 arXiv 论文研究了 Transformer 中部分旋转位置嵌入 (RoPE) 的性能和收敛性。研究表明，仅将 RoPE 应用于一小部分维度（约 10%）就可以实现与标准 RoPE 相比高达 10 倍的显著内存节省，同时保持可比的最终损失。研究还发现，最小化 RoPE 使用或应用 QK-Norm 可以缓解在没有位置编码时观察到的损失峰值。