实体 Model Runner V2

Model Runner V2

PulseAugur coverage of Model Runner V2 — every cluster mentioning Model Runner V2 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_172439 · Jul 30 · 09:04

vLLM v0.25.0 推出 Model Runner V2，增强本地 LLM 推理能力

vLLM 项目发布了 0.25.0 版本，将 Model Runner V2 作为密集模型的默认选项，增强了量化支持，从而实现更高效的本地 LLM 推理。此次更新旨在提高吞吐量和降低延迟，使在消费级硬件上运行复杂的开源模型更加容易。此外，Ollama v0.32.5 已发布，修复了影响 Apple Silicon 上 NVFP4 模型输出质量的错误，确保了 macOS 设备上本地推理的可靠性。