美团发布了LongCat-Flash-Lite-Sparse,一个基于LongCat-Flash-Lite构建的新语言模型。这个稀疏模型用LongCat Sparse Attention替换了稠密的MLA,并支持高达100万token的上下文长度,远超其前身256k token的限制。该模型拥有约30亿活跃参数,并利用一个卸载到RAM的300亿n-gram查找表,以便在消费级硬件上高效处理长上下文。 AI
影响 能够处理显著更长的文档和对话,可能影响需要深度上下文理解的应用。
排序理由 知名AI实验室(美团)发布新模型,具有显著的能力提升(1M上下文)。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
在 Hugging Face Trending Models 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →