Berth是一款新推出的GPU资源管理器，旨在允许多个应用程序（如AI模型、图像生成器和游戏）在不发生VRAM冲突的情况下共享单个GPU。它通过租约和请求队列来管理访问，通过将支持的引擎驻留在系统RAM或使用NVIDIA CUDA检查点，从而实现工作负载之间的更快切换。该工具还提供GPU监控、跨多个目录的模型管理、兼容OpenAI的API以及用于实时使用情况视图的Web仪表板等功能。它支持多GPU配置，并具有实验性的AMD和Windows兼容性，主要侧重于Linux NVIDIA支持。 AI
影响 简化了AI工作负载的GPU使用，可能提高了本地LLM用户的效率和可访问性。
排序理由 用于管理GPU资源的新软件工具发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
