LiquidAI/LFM2.5-24B-A2B-FP8

Liquid AI 的 LFM2.5-24B-A2B 模型面向代理的单 GPU 部署

Liquid AI 开发了 LFM2.5-24B-A2B，这是一款拥有 240 亿参数、专为本地代理部署设计的模型。该模型采用混合专家（MoE）架构，每个 token 仅激活其参数的一小部分，从而提高了效率。尽管体量较大，该模型仍旨在运行在单块 48 GB GPU 上，并拥有 131,072 个 token 的超大上下文窗口。然而，文章指出，实现这种效率取决于具体的配置和服务引擎，批处理请求和模型许可条款可能带来挑战。