BetterBench

新的 BetterBench 工具提供更准确的 LLM 性能指标

一款名为 BetterBench 的新基准测试工具已被开发出来，用于为语言模型提供更准确的困惑度（PP）和每秒令牌数（TPS）等性能指标的测量。开发者指出，现有的基准测试工具经常使用随机数据，导致结果不一致，尤其是在处理不同类型的内容时。BetterBench 旨在确保内容一致性在 1% 以内，并能测量不同内容类型的性能，从而提供更可靠的评估。