PulseAugur
中
实时 14:11:44
实体 Tucker bottleneck attention

Tucker bottleneck attention

PulseAugur coverage of Tucker bottleneck attention — every cluster mentioning Tucker bottleneck attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_286915 ·

    新的Tucker瓶颈注意力方法提高了序列建模的效率

    研究人员开发了Tucker瓶颈注意力(TuBA),一种新颖的方法,用于解决自注意力在处理多维序列时的计算限制。TuBA利用低秩张量结构有效地混合全局token,将隐藏张量投影到注意力计算的紧凑核心中,然后再写回更新。这种方法在视频预测和全球天气预报等任务中,在准确性和效率方面提供了显著的改进,其表现优于标准和其他高效的注意力机制。