美团发布了 LongCat-Flash-Lite-Sparse,这是一款采用混合专家(MoE)架构的新模型,拥有约 30 亿激活参数。该模型使用了一个 300 亿的 n-gram 查找表,该查找表被卸载到 RAM 中,从而在 24GB GPU 上实现了 256,000 个 token 的快速上下文窗口。这种方法与 Gemma 4 的 PLE 技巧进行了比较,尽管初步分析表明它可能无法超越 Qwen 3.6 27b 等现有模型。 AI
影响 在消费级硬件上提供大上下文窗口,可能为本地 LLM 带来新应用。
排序理由 非一线前沿实验室公司发布新模型。[lever_c_research降级:ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →