实体
GDPval
GDPval
PulseAugur coverage of GDPval — every cluster mentioning GDPval across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的GDPevo基准衡量AI智能体的自我进化能力
一个名为GDPevo的新基准已被开发出来，用于衡量AI智能体的自我进化能力。该基准解决了评估智能体如何有效地从经验中学习并在复杂、现实世界的业务任务中随着时间推移提高其性能的挑战。GDPevo使用自动化流程生成任务，并采用“规则杂交”技术来防止智能体仅仅记忆训练数据，而是迫使它们进行泛化和适应。
-
新框架旨在改进面向知识工作的 AI 基准测试
一篇新论文提出了一个三步框架，用于设计和报告面向知识工作的 AI 系统的基准测试。该方法强调清晰地定义工作活动、指定测试环境以及对实际工作成果进行评分。这旨在弥合基准测试性能与实际部署能力之间的差距，尤其是在编码、研究和医疗保健等领域的 LLM 代理方面。