Subquadratic AI 发布了其新模型 SubQ 1.1 Small，该模型利用智能稀疏注意力（Smart Sparse Attention）在长达 1200 万 token 的范围内实现近乎完美的检索。与标准方法相比，该模型显著降低了计算需求，注意力计算量减少高达 1000 倍。在 100 万 token 的情况下，SubQ 1.1 Small 所需的计算量比 FlashAttention-2 少 64.5 倍，运行速度快 56 倍，同时保持了强大的通用推理能力。 AI
影响 显著推进了长上下文检索能力，可能催生需要处理海量文档或代码库的新应用。
排序理由 前沿 AI 实验室发布的新模型，包含详细的技术规格和基准测试结果。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
