PulseAugur
中
实时 12:17:12
实体 Sparse Transformer

Sparse Transformer

PulseAugur coverage of Sparse Transformer — every cluster mentioning Sparse Transformer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_02558 ·

    OpenAI 的 Sparse Transformer 在序列预测方面创下新纪录

    OpenAI 开发了一种名为 Sparse Transformer 的新型深度神经网络，它显著提升了生成建模能力。该模型采用了一种重新设计的注意力机制，能够处理比以往长 30 倍的序列，使其能够捕捉图像、文本和声音等数据中复杂、长距离的依赖关系。通过采用稀疏注意力模式和优化内存使用，Sparse Transformer 可以处理包含数万个元素和数百层的序列，并在各个领域取得了最先进的性能。