llmrun Composite Score

LLM评分方法分歧，影响模型排名

创建复合LLM评分的不同方法可能导致排名差异巨大，即使在比较同一组模型时也是如此。平均基准测试提供了一个受控但有限的视角，而像LMArena这样的用户投票系统可以捕捉偏好，但不一定能捕捉能力。通过项目反应理论（IRT）等方法推断隐藏能力可以处理稀疏数据并跟踪进度，但准确性取决于底层基准测试。在解释分数时，重要的是要考虑置信区间和正在测量的特定技能，而不是仅仅依赖于总体排名。