cuda:0

vLLM：在单个 GPU 上同时运行两个 AI 模型

一份技术指南演示了如何通过仔细管理内存使用率，在单个 GPU（特别是 RTX 3090）上运行两个独立的 vLLM 服务器。作者发现，启动一个内存分配较高的聊天模型服务器（0.9）会因为 vLLM 的启动内存检查而阻止一个较小的嵌入模型服务器启动。解决方案是将嵌入模型分配一个非常低的内存使用率分数（0.03），因为嵌入模型使用的内存远少于分配的内存。同时运行两个模型导致每个服务器的性能下降约 8-12%。