Liquid AI 推出了 RIPL,这是一款新的实时推理引擎,旨在以极低的延迟服务其 Liquid Foundation Models (LFMs)。该引擎旨在使生成模型能够用于以前因速度限制而需要经典模型的应用程序,例如欺诈检测和支付授权。基准测试表明,与 vLLM 等现有解决方案相比,RIPL 在运行 LFM2.5 等模型时可以实现显著更低的 p95 延迟,某些配置的改进高达 28.4 倍。 AI
影响 使生成模型能够在延迟敏感的应用中使用,可能在欺诈检测和支付授权等领域取代经典模型。
排序理由 LLM 推理引擎的产品发布。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →