实体
Universal Transformers
Universal Transformers
PulseAugur coverage of Universal Transformers — every cluster mentioning Universal Transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
关系
最近 · 第 1/1 页 · 共 2 条
-
研究人员提出可模拟其他Transformer的固定通用Transformer
研究人员引入了“通用Transformer”，这是一种新颖的架构，其中固定参数可以通过精心设计的输入嵌入来模拟特定类别内的任何Transformer。这种方法类似于通用图灵机，表明Transformer的表达能力可能更多地源于其输入表示而不是其学习到的权重。该理论得到了明确构造和在括号平衡、多跳推理等任务上的经验验证的支持。
-
Associative-State Universal Transformers 通过稀疏检索提高参数效率
研究人员开发了 UniMatrix，一种将结构化递归与稀疏检索机制相结合的新型通用 Transformer 架构。虽然早期版本在 WikiText-2 等标准语言建模任务上显示出参数效率和具有竞争力的性能，但它们在联想回忆方面存在困难。随后的迭代 UniMatrix-SparsePointer，通过引入稀疏槽路由和指针-logit 融合，显著提高了联想回忆的准确性，在特定基准测试上以比传统 Transformer 更少的参数实现了近乎完美的性能。