SubQ 发布 SubQ 1.1 Small，拥有 1200 万 token 上下文和稀疏注意力

SubQ 发布了其 SubQ 1.1 Small 模型，该模型采用了一种新的亚二次稀疏注意力（SSA）架构，旨在克服传统注意力机制的二次方扩展限制。这种新架构显著降低了计算需求，能够处理更长的上下文。在“针尖麦芒”测试中，该模型在高达 1200 万 token 的上下文长度下表现出近乎完美的检索能力，并在通用知识和编码基准测试中表现强劲，同时所需的计算量远低于密集注意力和 FlashAttention-2。 AI

影响 该模型高效的注意力机制有望显著降低大型上下文语言模型的训练和推理成本，从而催生新的应用。

排序理由 一家专注于前沿模型架构的实验室发布了新模型。[lever_c_从 frontier_release 降级：ic=1 ai=1.0]

在 Hacker News — AI stories ≥50 points 阅读 →

• FlashAttention-2
• GPQA Diamond
• LiveCodeBench
• Needle in a Haystack
• NVIDIA
• SubQ 1.1 Small
• SubQ LLM
• Subquadratic Sparse Attention

• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →