Metrics.Summary()

Ollama 的 token 速度指标因缓存膨胀而产生误导

一篇最新的博文指出，Ollama 在报告模型性能方面存在显著差异，尤其是在 token 生成速度方面。作者演示了 Ollama 的默认指标可能产生误导，通过将缓存的 token 计入计算来夸大报告的每秒 token 数。这导致对实际模型吞吐量的表示不准确，特别是在提示元素被重复使用的对话场景中。该博文建议进行修正计算，考虑未缓存的 token，以提供更真实的性能衡量。