405B

405B Llama模型在单个8xA100节点上运行，支持30+专家模型

一位用户分享了他们在单个8xA100节点上运行405B参数Llama模型的经验，实现了低于200毫秒的适配器切换时间。他们成功加载了30多个微调的专家适配器，展示了在要求苛刻的任务中令人印象深刻的吞吐量和低延迟，特别是在健康和法律等敏感领域。选择此设置是为了克服小型模型在推理深度方面的局限性，并避免与H100硬件相关的高成本。