vLLM preload

vLLM 0.31.0 通过 GPU 权重缓存加速模型重启

vLLM 发布了 0.31.0 版本，引入了“预加载”功能，旨在通过将量化模型权重保留在 GPU 内存中来加速引擎重启。此功能以及实验性的基于 CRIU 的快照，旨在减少引擎重启期间从磁盘加载权重的耗时，从而显著提高基线利用率并更有效地处理流量高峰。然而，预加载守护进程是节点本地的，仍然需要初始磁盘加载，并且存在一个已知问题，即权重缓存指纹无法验证实际权重值，可能导致服务错误的模型。