Albert Gu

Liquid AI 推出混合 LLM 架构以实现设备端部署

Liquid AI 开发了新的 LLM 架构 LFM one 和 LFM two，专为设备端部署而设计，与传统的 Transformer 相比，在内存、延迟和上下文长度方面有所改进。这些模型，特别是 LFM two，采用混合方法，将注意力机制与更多的卷积层相结合，以管理 KV 缓存并保持质量。该公司强调从一开始就针对目标硬件进行优化，使用内存使用量、推理速度和质量等指标来指导开发，这与早期模型理论收益未能完全转化为实际性能的情况形成对比。