RedHatAI

使用 vLLM 和 LMCache 验证 GLM-5.3-Flash 缓存恢复

研究人员开发了一种方法来验证 GLM-5.3-Flash 语言模型的缓存恢复，解决了混合状态恢复期间可能出现的 But inconsistencies。所提出的解决方案涉及严格前缀查找和数值比较，在串行工作负载中将生成一致性从 34/36 提高到 36/36。与冷重新计算相比，这种集成修复技术还展示了性能提升，首次令牌时间最多减少 64%，总请求时间最多减少 7.0%。