LMSYS Arena-Hard

新网站比较 LLM 基准测试、定价和 VRAM 需求

一个名为 modelanalysis.si 的新网站已上线，为比较大型语言模型提供了一个集中平台。该网站提供基准测试的详细比较，包括 SWE-bench Verified 和 LMSYS Arena-Hard 等实际指标，以及代币定价和 VRAM 要求。用户还可以利用 VRAM 计算器估算特定模型和量化级别的硬件需求，并使用模拟器预测 API 成本与自托管费用的对比。