实体 O*NET-BENCH

O*NET-BENCH

PulseAugur coverage of O*NET-BENCH — every cluster mentioning O*NET-BENCH across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_280063 · Oct 5 · 04:00

研究发现：大型语言模型裁判未能准确衡量工作场所中的人工智能

一个名为 O*NET-BENCH 的新审计套件已被开发出来，用于评估大型语言模型 (LLM) 裁判在评估工作场所需求的人工智能输出方面的有效性。虽然许多大型语言模型配置在响应质量排名方面表现出一致性，但与人类工人数据相比，它们在准确估计接受率或职业汇总数据方面常常失败。这种差异凸显了仅凭排名一致性不足以进行可靠的职业测量，裁判需要针对其旨在估计的实际接受率和汇总数据进行验证。