美团发布了 LongCat-Flash-Lite-Sparse,一个基于 LongCat-Flash-Lite 构建的新语言模型。该稀疏模型用 LongCat Sparse Attention 替换了密集 MLA,并支持长达 100 万 token 的上下文长度,远超其前身 25.6 万 token 的限制。该模型拥有约 30 亿个活跃参数,并利用一个 300 亿的 n-gram 查询表卸载到 RAM,以便在消费级硬件上高效处理长上下文。 AI
影响 能够处理显著更长的文档和对话,可能影响需要深度上下文理解的应用。
排序理由 重要 AI 实验室(美团)发布新模型,具有显著的功能改进(100 万 token 上下文)。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →