TokenRace

本地 LLM 基准测试数字因硬件和测量差异而差异巨大

本地 LLM 推理基准测试可能具有误导性，因为存在许多变量，包括硬件差异、模型文件变体以及不同服务器测量性能的方式。作者发现，服务器报告的指标通常不包括提示处理或初始 token 生成等关键因素，导致比较不一致。为解决此问题，作者开发了一个名为 TokenRace 的开源工具，通过从客户端的角度测量性能来标准化测试，考虑了首次 token 时间和整体有效速度等因素，并明确控制模型推理。