model.norm.weight

vLLM 权重缓存漏洞允许服务错误的模型权重

vLLM 的权重缓存功能（特别是 0.30.0 版本）中发现了一个严重漏洞。此 bug 允许正在运行的模型守护进程服务来自与引擎请求的检查点不同的检查点的权重，前提是张量布局匹配。这可能导致引擎产生看似合理但错误的输出，因为系统错误地认为缓存的权重是为所请求的模型准备的。问题出在权重缓存的指纹识别机制仅对张量名称和形状等元数据进行哈希处理，而不对实际张量值进行哈希处理，因此当仅权重不同时，它容易出现不匹配。