一位用户已成功将拥有 420 亿活跃参数的 Muse Spark 816B 模型部署在十块 NVIDIA A40 GPU 上运行。对 TensorSharp 推理引擎与 llama.cpp 进行的基准测试显示出显著的性能差异,尤其是在提示处理方面。在使用层拆分时,TensorSharp 在 4K 预填充方面快 2.07 倍,在 16K 预填充方面快 1.63 倍;而在张量并行方面,TensorSharp 在单请求解码时达到 22.6 tokens/s,在四路并发请求的聚合吞吐量时达到 45.7 tokens/s。 AI
影响 展示了大型语言模型多 GPU 推理的性能提升,可能影响未来的硬件和软件优化策略。
排序理由 用户级部署和基准测试,针对特定模型的开源推理引擎。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →