RoFormer: Enhanced Transformer with Rotary Position Embedding
PulseAugur coverage of RoFormer: Enhanced Transformer with Rotary Position Embedding — every cluster mentioning RoFormer: Enhanced Transformer with Rotary Position Embedding across labs, papers, and developer communities, ranked by signal.
-
SemiAnalysis 探讨语言模型的先进位置嵌入技术
SemiAnalysis 正在探索语言模型的先进位置嵌入技术，超越像 RoPE（旋转位置嵌入）这样的标准方法。该分析深入研究了包括群论在内的数学框架，以理解和潜在地改进模型处理序列数据的方式。虽然 RoPE 被 DeepSeek 和 Qwen 等模型广泛使用，但研究表明，替代的、更复杂的嵌入可能会带来好处，尽管它们伴随着计算上的权衡。
-
研究发现 RoPE 位置编码无法外推到更长上下文
与普遍看法相反，旋转位置嵌入（RoPE）本身并不能外推到比其训练数据显著更长的上下文。2017 年的早期研究表明正弦编码可能具有外推能力，但 2022 年的后续测量显示，正弦和 RoPE 方法的外推能力都有限。2023 年开发了一种称为位置插值（Position Interpolation）的技术，正是因为 RoPE 和类似方法难以进行长度外推，这表明自由外推的说法是不准确的。虽然 RoPE 具有其他优势，例如高效的 KV 缓存，但其…
-
audio.cpp 通过 C++/GGML 添加音乐、SFX 和长篇 TTS 模型
audio.cpp 项目发布了重大更新，引入了对 ACE-Step、Stable Audio、HeartMuLa、RoFormer 和 HTDemucs 等新音频模型的原生 C++/GGML 支持。此次扩展支持音乐和 SFX 生成以及声源分离，其中一些模型现在能够生成长达10分钟的音频。此外，还集成了 VibeVoice 1.5B，在长篇 TTS 方面表现出色，在 RTX 5090 上不到23分钟即可生成90分钟的音频，显著优于基于 …