实体 PAYWORTHY

PAYWORTHY

PulseAugur coverage of PAYWORTHY — every cluster mentioning PAYWORTHY across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_341957 · Nov 5 · 05:00

大型语言模型在未明确限制时难以预测AI代理的工作成功率

研究人员开发了PAYWORTHY，这是一个包含1,494个自由职业工作帖子的新数据集，用于评估大型语言模型（LLMs）预测AI代理在这些任务上的成功率的能力。当被告知代理的限制时，大型语言模型表现出强大的预测能力，AUC得分在0.66到0.86之间。然而，当呈现一个通用的代理描述时，相同的大型语言模型表现出随机猜测水平（AUC 0.45-0.56）。这种预测准确性在各种模型系列中保持一致，包括Claude、GLM、Kimi和Qwen，…