Nexus Labs 通过在单个 Llama 3.1 模型上服务 40 个 LoRA 适配器来降低成本

Nexus Labs 开发了一种经济高效的方法，可以在单个基础模型上服务多个 LoRA 适配器，从而显著降低基础设施成本。通过利用 vLLM 的多 LoRA 服务功能，他们将 40 个客户特定的适配器整合到两个 A100 GPU 上，将月成本从估计的 24,000 美元削减到一小部分。虽然这种方法会带来少量的延迟成本，并且需要仔细评估以确保输出一致性，但对于满足不同客户需求的企业部署来说，它被证明非常高效。 AI

影响 为部署定制化 LLM 的企业带来了显著的成本降低，可能加速微调模型的采用。

排序理由 这描述了服务 AI 模型的技术实现和优化，而不是新的模型发布或基础研究。

在 dev.to — LLM tag 阅读 →

• A100
• Bifrost
• Llama 3.1 8B
• LoRA
• Nexus Labs
• PEFT
• vLLM

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →