Ollama 发布了 0.31.2 版本,带来多项改进和修复。主要更新包括为旧款 NVIDIA GPU(计算能力 6.x)启用闪存注意力,并允许 iGPU 将视觉模型加载到可用内存中。此次发布还解决了思维模型结构化输出的问题,增强了 GGUF 模型创建的健壮性,并默认禁用 `ollama launch` 与 Claude Code 的遥测功能。此外,还修复了加载包含非 UTF-8 字符路径的模型的问题。 AI
影响 提高了本地 LLM 部署的性能和内存处理能力,尤其是在旧硬件上。
排序理由 这是一个用于本地运行 LLM 的工具的软件发布,而非前沿模型发布。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →