实体
softmax transformers
softmax transformers
PulseAugur coverage of softmax transformers — every cluster mentioning softmax transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究发现低精度Transformer可模拟图灵机
研究人员分析了标准Transformer解码器的表达能力，重点关注低精度和softmax注意力等实际方面。他们的工作通过证明这些实际配置仍能模拟图灵机，从而弥合了理论模型与现实世界Transformer之间的差距。研究还表明，总结的思维链范式对于这种模拟更有效，其扩展与模型大小相关，属于空间界限而非时间界限。
-
新理论探索用于上下文学习的线性 Transformer
研究人员调查了用于上下文学习的线性 Transformer 的理论基础，解决了传统 softmax Transformer 的计算限制。该研究提出线性 Transformer 从上下文分布学习到响应函数的映射，并通过领域泛化视角分析其近似和泛化能力。基于此理论框架，该论文引入了新颖的激活和损失设计方法，以线性化预训练的 softmax 大型语言模型。