Alibi
PulseAugur coverage of Alibi — every cluster mentioning Alibi across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究：位置编码方案塑造 Transformer 注意力头代数
一篇新的研究论文探讨了 Transformer 模型中的位置编码方案如何影响注意力头的谱代数。研究发现，不同的位置编码方案，如旋转位置嵌入（RoPE）、学习绝对位置编码和 ALiBi，会导致注意力头产生不同的谱指纹。这些指纹并非预先设定的约束，而是在训练过程中动态产生的，反映了注意力头的功能作用。研究表明，位置编码方案的选择显著影响模型的学习过程和效率。
-
累积变换可改善LLM长度外推能力，但在极端情况下会下降
研究人员调查了累积变换在注意力机制中的外推能力，特别研究了用累积的、依赖数据的Householder反射替换RoPE的位置索引旋转如何影响性能。他们的发现表明，虽然这些累积变换可以改善长度外推能力，但在极端上下文长度下性能最终会下降。该研究还探讨了一种使用累积的、依赖令牌的旋转的简化变体，该变体表现出类似的行为。理论分析表明，累积的正交变换在有限步数后会导致不连贯，限制了对远距离令牌的注意力，并创建了一个有限的混合窗口。
-
xFormers 库可在 GPU 上实现内存高效的 Transformer 模型
本教程演示了如何使用 xFormers 库在 GPU 上构建内存高效的 Transformer 模型。它涵盖了实现和比较内存高效注意力与标准注意力，分析了因果掩码、打包序列、分组查询注意力 (GQA) 和 ALiBi 位置偏差等技术。该指南还展示了如何将这些方法结合到一个可训练的 GPT 风格模型中，该模型利用 xFormers 注意力和 SwiGLU 前馈层进行自动混合精度训练。
-
Jordan-RoPE: 通过复数约旦块实现的非半单相对位置编码
研究人员引入了 Jordan-RoPE，一种利用复数约旦块的 Transformer 模型新型相对位置编码方法。该方法生成振荡-多项式特征，实现了与 RoPE 和 ALiBi 等现有方法不同的距离调制相位基。虽然缩放精确变体在 WikiText-103 语言模型上比基线有所改进，但 RoPE+ALiBi 总体上仍然表现最强，表明 Jordan-RoPE 对特定任务具有结构优势。
-
Eugene Yan 分享举办每周 AI 论文俱乐部以建立学习社区的指南
Eugene Yan 详细介绍了其成功的每周论文俱乐部，该俱乐部已运行 18 个月，讨论了至少 80 篇与 AI 相关的论文。俱乐部专注于机器学习中的基础概念、模型、训练和推理技术。Yan 为他人建立类似的学习社区提供了实用指南，强调了持续的日程安排、预读和引导式讨论，以促进技术理解和建立专业人脉。