vLLM 发布了 0.33.0rc2 版本,其中包含了一个针对 gfx950 硬件的 ROCm 兼容性 bug 修复。此特定修复解决了当 M 和 N 维度的乘积达到或超过 2^31 时,AITER 调优的 GEMM 操作被跳过的问题。此更改由 Micah Williamson 贡献,是从之前的提交中挑选出来的。 AI
影响 对 LLM 服务的基础设施进行了小的更新,解决了特定的硬件兼容性问题。
排序理由 这是专注于 LLM 基础设施的软件库的一个小版本(发布候选版),而不是核心 AI 模型发布或重要研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →