Qwen 3.5-9B-UD-Q3_K_XL

DGX Spark 内存管理挑战详解 LLM 服务

DGX Spark 系统配备 NVIDIA GB10 Grace Blackwell Superchip，在扣除系统进程和 CUDA 分配后，为 LLM 服务提供约 115 GiB 的可用内存。然而，管理这个共享内存池至关重要，因为驱动程序分配可能会超出进程级别的 cgroup 限制，可能导致系统冻结和自动重启循环。缓解这些问题的策略包括仔细监控内存使用情况、禁用或缩小交换空间，以及在重启前实施特定命令来更新容器重启策略。