vLLM 发布了 0.31.1rc0 版本,引入了一项新指标,用于根据缓存层级公开缓存的提示 token。此更新是一个发布候选版本,表明它是在稳定版本发布前用于测试和反馈的预发布版本。该版本由 Cam Quilici 标记,并包含 Nick Hill 和 Yifan Qiao 的贡献。 AI
影响 vLLM 是一个用于高效 LLM 推理的开源库,此次更新提供了关于缓存提示 token 的新指标,可能有助于开发人员优化推理性能。
排序理由 这是一个开源库的发布候选版本,而不是重大的新模型或产品发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →