PulseAugur
中
实时 19:35:13
English(EN) Two vLLM servers on one GPU: the startup check that bites, and the fix

vLLM：在单个 GPU 上同时运行两个 AI 模型

作者 PulseAugur 编辑部 · [1 个来源] ·

一份技术指南演示了如何通过仔细管理内存使用率，在单个 GPU（特别是 RTX 3090）上运行两个独立的 vLLM 服务器。作者发现，启动一个内存分配较高的聊天模型服务器（0.9）会因为 vLLM 的启动内存检查而阻止一个较小的嵌入模型服务器启动。解决方案是将嵌入模型分配一个非常低的内存使用率分数（0.03），因为嵌入模型使用的内存远少于分配的内存。同时运行两个模型导致每个服务器的性能下降约 8-12%。 AI

影响 为希望最大化 GPU 利用率以同时运行多个 AI 模型的用户提供了一个实用的解决方案。

排序理由 该条目描述了一个用于优化现有软件资源使用的技术性变通方法，而不是一项新发布或重大的行业发展。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

vLLM：在单个 GPU 上同时运行两个 AI 模型

本文如何被排名

Signal score
22 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目描述了一个用于优化现有软件资源使用的技术性变通方法，而不是一项新发布或重大的行业发展。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Qaiser Mehdi ·

    Two vLLM servers on one GPU: the startup check that bites, and the fix

    <p>Someone asked on the vLLM tracker how to run a small embedding model next to a chat model on one GPU, so the card isn't half idle. I tested it on a rented RTX 3090 (24 GB) with vLLM 0.27.1: BAAI/bge-small-en-v1.5 for embeddings and Qwen2.5-1.5B-Instruct for chat, each in its o…

相关实体

相关话题