Ollama 发布了 v0.32.9 版本，增加了对 NVIDIA 的 Nemotron 3.5 Lightning 的支持，这是一个专为代理工作负载设计的 30B 专家混合模型。此次集成允许用户在消费级 GPU 上本地运行该专用模型。此外，vLLM 推理引擎发布了 v0.27.0，进行了大量改进并全面支持 Kimi K3 模型。Ollama 最近还在 v0.32.7 中增加了对 Meta 的 Muse Glimmer 多模态模型的初步支持，该模型针对 Apple Silicon 进行了优化。 AI
影响 扩展了消费级硬件上专用代理和多模态模型的本地推理能力。
排序理由 本地推理运行时更新和对新模型的支持。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
