524ms

Ollama v0.32.15 通过元数据缓存将本地 AI 推理延迟减半

Ollama 发布了 v0.32.15 版本，显著提高了本地 AI 模型推理的速度。此次更新引入了元数据缓存，将首次令牌时间（TTFT）从约 995 毫秒缩短了近一半，至 524 毫秒。这一改进使得与本地模型的交互感觉更灵敏、更流畅，尤其对于频繁发送提示的用户。该版本还包括简化的桌面入门体验和用于提高稳定性的错误修复。