实体
Deep Transformers with Latent Depth
Deep Transformers with Latent Depth
PulseAugur coverage of Deep Transformers with Latent Depth — every cluster mentioning Deep Transformers with Latent Depth across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究人员使用形式文法分析Transformer的表达能力
一篇新研究论文通过检查深度Transformer模型表示分层结构的能力来分析其表达能力。该研究使用有界深度、非递归上下文无关文法来构建具有位置注意力的Transformer。研究结果表明，这些架构可以将抽象的语法状态编码到残差流中的线性可分子空间，支持了深度神经网络的力量来源于分层表示的假设。
-
新理论解释深度Transformer推理机制
研究人员开发了一种新理论，解释了深度Transformer的内部工作原理，将其视为执行分布式推理的均场相互作用系统。该理论引入了“函数向量”作为内部状态表示，使Transformer能够通过其层以渐进精细的尺度推断潜在上下文变量。研究表明，Transformer的深度和前馈块能够实现比以往更复杂的上下文学习算法。