PulseAugur
实时 02:13:26
实体 Your LLM Evals Are a Flaky Test Suite — Treat Them Like One

Your LLM Evals Are a Flaky Test Suite — Treat Them Like One

PulseAugur coverage of Your LLM Evals Are a Flaky Test Suite — Treat Them Like One — every cluster mentioning Your LLM Evals Are a Flaky Test Suite — Treat Them Like One across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. COMMENTARY · CL_143130 ·

    LLM评估不可靠;控制随机性和版本化数据

    评估大型语言模型(LLM)通常是不可靠的,因为模型本身和评估过程存在固有的非确定性。像token采样温度、用作裁判的LLM以及数据集的更改等因素会导致分数大幅波动,使得区分真正的模型退步和测量噪声变得困难。为了提高可靠性,开发人员应像对待任何其他不稳定的测试套件一样对待LLM评估,通过固定的种子和温度设置来控制随机性,像版本化源代码一样版本化数据集,并校准LLM裁判与人工标记数据,以建立基线一致性。