PulseAugur
中
实时 19:03:39
实体 Latent feedback

Latent feedback

PulseAugur coverage of Latent feedback — every cluster mentioning Latent feedback across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_362183 ·

    潜在反馈提升Transformer效率,节省计算和数据

    研究人员引入了一种称为潜在反馈的技术,该技术提高了标准Transformer的效率。通过将每个token的顶层状态馈送到下一个token的输入中,潜在反馈提高了计算和数据效率,尤其是在拥有相对于模型大小而言充足的独特数据时。该方法充当放大器,使模型能够以更少的计算或更少的数据实现更低的损失,并且随着独特数据和重复次数的增加,节省量也会增加。

  2. RESEARCH · CL_193360 ·

    全带宽Transformer架构提升AI推理和效率

    研究人员推出了一种名为“全带宽Transformer”的新型架构,通过拓宽解码步骤之间的垂直反馈通道来增强Transformer模型。这通过“潜在反馈”实现,即将先前顶层的隐藏状态与采样到的Token嵌入融合,并反馈给模型。这一修改允许非语言化计算重新进入堆栈,从而在语言评估、数学和代码生成等任务上提高性能,同时每Token的解码开销可忽略不计。新模型架构在准确性相当或更高的情况下,能匹配或超越使用显著更多Token训练的标准Tran…