vLLM 团队发布了 0.33.0 版本,该版本包含一个使用 PyTorch 稳定 ABI 构建的 CUDA Wheel 包。此更改旨在允许用户在不重新编译 vLLM 的情况下更新其 PyTorch 版本。审计确认了该 Wheel 包的稳定 ABI 状态,尽管其元数据中仍将 PyTorch 锁定在 2.14.0 版本。此次迁移涉及 vLLM 及其依赖项(包括 FlashAttention 和 DeepGEMM)的大量代码更改,以确保与 LibTorch 的稳定接口兼容。 AI
影响 能够更轻松地集成和更新 LLM 推理框架,可能降低运营开销。
排序理由 这是一个用于促进 LLM 推理的工具的软件发布,而不是核心 AI 模型发布或研究论文。
- DeepGEMM
- FlashAttention-2
- FlashAttention-3
- LibTorch
- Meta*
- PyTorch
- QuTLASS
- Red Hat
- torch-abi-audit
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →