实体
throttle-pro
throttle-pro
PulseAugur coverage of throttle-pro — every cluster mentioning throttle-pro across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
vLLM标志在A100 GPU测试中将代币成本降低了68%
一位开发者使用A100 GPU和Qwen2.5-0.5B模型测试了一个vLLM标志`max_num_seqs`对代币成本的影响。通过交错测试运行以应对机器漂移，他们发现将`max_num_seqs`从1增加到8，成本显著降低了约68%。开发者指出，1的基线不切实际地低，并且结果可能因更大的模型和不同的流量模式而异。他们还发布了一个开源工具`throttle-pro`，以帮助其他人自信地测量代币成本。
-
新工具 `throttle-pro` 测量自托管 LLM 的 token 成本
一位开发者创建了一个名为 `throttle-pro` 的开源工具，用于精确测量自托管大型语言模型时每百万 token 的成本。该工具解决了由于批处理大小、引擎版本和 GPU 负载等变量导致性能和成本估算不一致的常见问题。通过运行多项测试并建立一个基准线，`throttle-pro` 帮助用户确定其设置的更改是否真正降低了成本，而不是将节省归因于随机波动。