实体
judge model
judge model
PulseAugur coverage of judge model — every cluster mentioning judge model across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
大型语言模型评估误区被揭穿：关注失败模式和回归测试
文章揭穿了关于评估大型语言模型（LLM）的五个常见误区，强调“冒烟测试”不足以确定模型质量。文章认为，真正的评估需要评估结果的分布，而不是单一结果，关注失败模式而非测试的纯粹数量，并仔细衡量裁判模型的噪声和偏差。作者提出了一种实用的方法：对每一次代码更改运行小型、快速的回归评估，并更频繁地进行大型能力评估，同时提供了一个脚本，通过抽样和易碎性来控制更改。
-
大型语言模型可利用置信度信号检测自身幻觉，无需标签
研究人员开发了一种新颖的方法，使大型语言模型能够在不要求标记数据集的情况下，识别并避免回答它们不确定的问题。这种无标签的方法利用了模型内部的置信度信号，当模型生成错误信息时，这些信号往往会减弱。通过对模型进行微调，使其在置信度低时弃权，该方法在各种开源模型上的表现与传统的监督弃权微调技术相当。这项技术为教会模型何时承认不确定性提供了一种几乎免费的替代昂贵标记数据集的方法。