torch.fx

vLLM 后端现已匹配 Hugging Face 模型原生速度

Hugging Face 已增强其 vLLM 转换器建模后端，以实现兼容架构的原生推理速度。此更新利用 torch.fx 和 AST 操作在运行时动态融合操作并优化模型图，可媲美自定义编写的 vLLM 实现的性能。这些改进已针对各种 Qwen3 模型进行了基准测试，证明 transformers 后端现在可以提供与 vLLM 原生代码相当的速度，而无需模型作者手动移植其架构。