PulseAugur
实时 05:37:17
实体 Subquadratic Selective Attention

Subquadratic Selective Attention

PulseAugur coverage of Subquadratic Selective Attention — every cluster mentioning Subquadratic Selective Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. SIGNIFICANT · CL_43103 ·

    SubQ推出具有亚二次方注意力的12M上下文LLM

    SubQ推出了一款新的前沿LLM,SubQ,它具有1200万个token的上下文窗口和一个新颖的亚二次方注意力机制。这种方法旨在克服传统二次方注意力的计算限制,后者在上下文长度加倍时计算量会增加四倍。SubQ的学习稀疏注意力在推理时动态选择相关的token对,与全注意力模型相比,成本显著降低。