实体 CopyLoop

CopyLoop

PulseAugur coverage of CopyLoop — every cluster mentioning CopyLoop across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_332887 · Oct 31 · 04:00

研究人员探索循环技术以增强 Transformer 模型

三篇新研究论文探讨了通过循环增强 Transformer 模型的方法，循环通过重用权重来增加深度而不增加参数。UpLoop 通过逐步复制层并利用保存的计算进行重复执行来训练循环 Transformer，显示出改进的语言建模和下游任务性能。CopyLoop 提供了一种无需训练的解码算法，通过提出多令牌后缀并使用浅层筛选来过滤它们来加速生成。第三篇论文《如何循环你的 Transformer》研究了循环模型不同部分的权衡，发现对于固定的参数…