新的BRIDGE框架根据模型性能预测AI任务完成时间

研究人员开发了一个名为BRIDGE 的新框架，该框架使用项目反应理论根据 AI 模型性能来预测人类任务的完成时间。该方法根据各种基准的性能数据估算潜在的任务难度和模型能力。该框架表明，潜在的任务难度与人类完成时间的对数呈线性相关，从而仅凭模型性能即可推断新基准的完成时间。这种方法可以预测未来的模型能力，并重现现有的指数级扩展结果，表明可解决任务的范围大约每六个月翻一番。 AI

影响 该框架可以通过仅根据性能数据预测人类任务的完成时间，从而实现更高效、可扩展的 AI 模型评估。

排序理由 该集群包含一篇详细介绍评估 AI 功能的新框架和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• BRIDGE
• CatalyzeX Code Finder for Papers
• DagsHub
• Fengyuan Liu
• Gotit.pub
• Hugging Face
• Influence Flower
• Item Response Theory
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →