Ollama 版本 0.32.10 及更高版本中的一个回归性错误导致模型加载超时,尤其是在使用 Vulkan 后端的集成显卡(iGPU)的 Linux 系统上,通过容器(Podman 或 Docker)运行时。此问题源于默认加载模式从 'mmap' 更改为 'none',这要求在将模型交给 GPU 之前,整个模型必须先加载到 CPU 内存中。在内存有限的系统上,这可能导致内存使用过量和磁盘颠簸,从而使加载时间超过默认的 5 分钟超时限制。潜在的解决方法包括将 Ollama 固定到 0.32.9 版本、限制上下文窗口大小、增加加载超时时间,或关注社区的 pull request 以获得更永久的修复方案。 AI
影响 此回归性错误影响了在特定硬件配置上运行本地 LLM 的用户,在修复方案广泛可用之前,可能会阻碍其应用。
排序理由 该条目详细说明了一个特定软件版本的回归性错误和解决方法,而非新版本发布或行业重大事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →