Ollama 发布了 v0.40.17-rc1 版本,引入了用于批量推测性验证的 mlxrunner 功能。此次更新旨在通过在请求之间共享目标验证来改进并发生成,同时保持单独的采样和缓存回滚。这些更改还侧重于管理并发工作负载的草稿深度,并处理各种解码场景和内存边界。 AI
影响 Ollama 的此次更新通过改进的推测性验证增强了其本地模型服务能力,可能加快用户在自有硬件上运行模型的推理速度。
排序理由 这是 Ollama 软件特定版本的发布,Ollama 是一个用于在本地运行 AI 模型的工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →