DeepSeek Harness (DSH)

RTX 5090 显存压力导致本地 LLM 速度下降

一位用户在使用本地大语言模型时遇到了显著的性能下降，token 生成速度从每秒 77 个下降到 7 个。这种速度下降发生在视频通话期间，视频通话似乎占用了 GPU 的显存，将其推向了极限。尽管性能有所下降，vLLM 服务进程并未报告任何错误或内存不足的情况。通过重启 vLLM 进程解决了该问题，这表明问题出在服务进程的内存状态，而不是模型或提示本身。