实体
softmax transformers
softmax transformers
PulseAugur coverage of softmax transformers — every cluster mentioning softmax transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新定理解释了 Transformer 如何忘记提示词
研究人员开发了一个条件无毛定理，以解释自回归 Transformer 如何忘记其提示词。该定理指出，Transformer 的提示词影响会随着幂律衰减，已训练模型的遗忘速度比未训练模型更快。这种遗忘归因于注意力稀释和中继机制，其中提示词的直接影响随着上下文的增长而减弱，而续写 token 只能增加对数因子。研究表明，随着生成文本的增加，提示词的影响会消失，这意味着任何残留的提示词属性都必须由文本本身携带。
-
研究发现低精度Transformer可模拟图灵机
研究人员分析了标准Transformer解码器的表达能力，重点关注低精度和softmax注意力等实际方面。他们的工作通过证明这些实际配置仍能模拟图灵机，从而弥合了理论模型与现实世界Transformer之间的差距。研究还表明，总结的思维链范式对于这种模拟更有效，其扩展与模型大小相关，属于空间界限而非时间界限。
-
新理论探索用于上下文学习的线性 Transformer
研究人员调查了用于上下文学习的线性 Transformer 的理论基础，解决了传统 softmax Transformer 的计算限制。该研究提出线性 Transformer 从上下文分布学习到响应函数的映射，并通过领域泛化视角分析其近似和泛化能力。基于此理论框架，该论文引入了新颖的激活和损失设计方法，以线性化预训练的 softmax 大型语言模型。