PulseAugur
中
实时 04:08:16
实体 Asymmetric Looped Transformer

Asymmetric Looped Transformer

PulseAugur coverage of Asymmetric Looped Transformer — every cluster mentioning Asymmetric Looped Transformer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_312683 ·

    不对称循环 Transformer 提升语言模型效率

    研究人员推出了一种新颖的架构——不对称循环 Transformer (AsymLoop)，它通过将上下文编码与迭代状态精炼分离开来，从而提高了语言模型的效率。该设计使用来自单通道编码器的固定全局键值缓存，以及一个从其不断变化的状态生成局部键值缓存的循环解码器。在 FineWeb-Edu 数据集上的实验表明，与标准的循环 Transformer 相比，AsymLoop 在下游任务准确性方面取得了更低的验证困惑度和更高的准确性，其中一个 …