实体
Latent feedback
Latent feedback
PulseAugur coverage of Latent feedback — every cluster mentioning Latent feedback across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
潜在反馈提升Transformer效率,节省计算和数据
研究人员引入了一种称为潜在反馈的技术,该技术提高了标准Transformer的效率。通过将每个token的顶层状态馈送到下一个token的输入中,潜在反馈提高了计算和数据效率,尤其是在拥有相对于模型大小而言充足的独特数据时。该方法充当放大器,使模型能够以更少的计算或更少的数据实现更低的损失,并且随着独特数据和重复次数的增加,节省量也会增加。
-
全带宽Transformer架构提升AI推理和效率
研究人员推出了一种名为“全带宽Transformer”的新型架构,通过拓宽解码步骤之间的垂直反馈通道来增强Transformer模型。这通过“潜在反馈”实现,即将先前顶层的隐藏状态与采样到的Token嵌入融合,并反馈给模型。这一修改允许非语言化计算重新进入堆栈,从而在语言评估、数学和代码生成等任务上提高性能,同时每Token的解码开销可忽略不计。新模型架构在准确性相当或更高的情况下,能匹配或超越使用显著更多Token训练的标准Tran…