实体
transformer networks
transformer networks
PulseAugur coverage of transformer networks — every cluster mentioning transformer networks across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Transformer学习理论通过Softmax近似解释
研究人员开发了一个新的理论框架来理解Transformer网络如何学习回归任务。他们的方法使用“Softmax单位分割”来组合局部函数近似，利用注意力机制进行空间定位。研究表明，仅有两个编码器块的Transformer可以对某些连续函数实现统一的近似误差，从而获得接近minimax最优的泛化误差界限。
-
准等变元网络推动权重空间学习
研究人员将准等变性引入元网络，这是一种用于操作预训练神经网络权重的新概念。这种新方法允许元网络在不牺牲严格等变性的前提下，尊重架构对称性，从而可能产生更具表现力和鲁棒性的模型。该框架已在各种神经网络架构（包括前馈、卷积和Transformer网络）中得到验证，在对称性保持和表示能力之间取得了平衡。