SubQ推出了一款新的前沿LLM，SubQ，它具有1200万个token的上下文窗口和一个新颖的亚二次方注意力机制。这种方法旨在克服传统二次方注意力的计算限制，后者在上下文长度加倍时计算量会增加四倍。SubQ的学习稀疏注意力在推理时动态选择相关的token对，与全注意力模型相比，成本显著降低。 AI
影响 能够处理更大的上下文，如整个代码库和长代理跟踪，可能减少对检索增强的依赖。
排序理由 来自商业前沿LLM提供商的新模型发布，具有新颖的架构创新。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →