Ollama 0.40 版本引入了新的指标,包括预填充率和决策模型概率,但预填充率的计算存在缺陷。预填充率通过计入缓存的 token 来错误地夸大速度,导致数字具有误导性。决策模型(如 nimble 和 tev1)提供选择或分数的概率,而不是生成文本,但如果未被能力正确过滤,可能会被错误地提供用于聊天补全。 AI
影响 Ollama 的此次更新为开发者提供了更详细的性能指标,但用户应注意报告的预填充率可能存在不准确之处。
排序理由 该条目详细介绍了一个本地 LLM 运行器的新版本及其新功能,包括有缺陷的指标计算。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →