实体
Berth
Berth
PulseAugur coverage of Berth — every cluster mentioning Berth across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
用户分享 ComfyUI 和本地 LLM 的 GPU 资源管理技巧
Reddit 上的用户正在讨论在同时运行 ComfyUI 进行图像生成和本地 LLM 时管理 GPU 资源的策略。主要挑战是显存争用以及在不延长加载时间的情况下高效切换模型的需求。用户正在探索各种方法，包括手动卸载模型、使用 LM Studio 或 llama-swap 等专用软件、ComfyUI 的内置管理功能以及自定义构建的自动切换解决方案。
-
Berth GPU管理器支持AI模型和游戏共享访问
Berth是一款新推出的GPU资源管理器，旨在允许多个应用程序（如AI模型、图像生成器和游戏）在不发生VRAM冲突的情况下共享单个GPU。它通过租约和请求队列来管理访问，通过将支持的引擎驻留在系统RAM或使用NVIDIA CUDA检查点，从而实现工作负载之间的更快切换。该工具还提供GPU监控、跨多个目录的模型管理、兼容OpenAI的API以及用于实时使用情况视图的Web仪表板等功能。它支持多GPU配置，并具有实验性的AMD和Windo…
-
Berth 服务支持单 GPU 运行多个大语言模型
一项名为 Berth 的新系统服务已被开发出来，用于在一块 GPU 上管理多个大语言模型（LLMs），特别适合拥有 24GB 显存的用户。该服务允许用户在 Strata、ComfyUI 和 OpenWebUI 等不同 LLM 引擎之间无缝切换，无需手动干预。Berth 确保显存完全专用于当前活动的功能，防止资源冲突和孤立进程，并且还可以将引擎作为 API 提供服务，以便跨多个设备灵活访问。