Decoder-Only Transformers
PulseAugur coverage of Decoder-Only Transformers — every cluster mentioning Decoder-Only Transformers across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 IG-Lens 方法可精确归因 Transformer 层之间的 token 概率
研究人员开发了 IG-Lens，一种用于在仅解码器的 Transformer 模型中精确归因预测 token 概率到特定层的新颖方法。与提供近似或有偏估计的现有工具不同，IG-Lens 使用望远积分梯度在概率空间中提供精确的加性分解。这种方法考虑了 softmax 非线性，确保跨层的归因总和精确匹配预测概率的总变化。
-
Transformer 模型通过因果掩码和残差流获得绝对位置感知能力
研究人员在 decoder-only Transformer 中识别出两个关键的架构组件，它们有助于模型区分绝对位置，尽管 RoPE 等位置编码方法主要编码相对偏移。这两个组件是因果掩码（其 softmax 分母本身就依赖于查询位置）和残差流（它在位置 0 处充当动态系统）。该研究分析了不同的架构选择（如 NTK 缩放和滑动窗口注意力）如何与这些组件相互作用，从而影响模型的绝对位置感知能力。
-
研究人员通过注意力控制和算法捕获探索高效 Transformer
研究人员正在探索提高 Transformer 效率和理解力的方法。一篇论文引入了预算注意力分配（Budgeted Attention Allocation），这是一种允许成本-质量权衡的头门控机制。另一项研究定义了 Transformer 中的算法捕获（algorithmic capture），并分析了它们的计算复杂性，表明存在一种归纳偏见，反对更高复杂度的过程。此外，关于 Transformer 中局部注意力的工作证明了其表达能力以…