实体
Subquadratic Sparse Attention
Subquadratic Sparse Attention
PulseAugur coverage of Subquadratic Sparse Attention — every cluster mentioning Subquadratic Sparse Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SubQ 发布 SubQ 1.1 Small，拥有 1200 万 token 上下文和稀疏注意力
SubQ 发布了其 SubQ 1.1 Small 模型，该模型采用了一种新的亚二次稀疏注意力（SSA）架构，旨在克服传统注意力机制的二次方扩展限制。这种新架构显著降低了计算需求，能够处理更长的上下文。在“针尖麦芒”测试中，该模型在高达 1200 万 token 的上下文长度下表现出近乎完美的检索能力，并在通用知识和编码基准测试中表现强劲，同时所需的计算量远低于密集注意力和 FlashAttention-2。
-
SubQ LLM发布更快的注意力机制以处理长文本
SubQ LLM推出了一种名为Subquadratic Sparse Attention (SSA)的新架构，旨在更高效地处理长文本。这一进步使AI模型能够处理更多信息，有可能改变当前的AI应用。