一个名为PLE的新基准测试已被开发出来，用于评估前沿语言模型在执行专业物理工程任务方面的能力。与侧重于教科书问题或孤立工具使用的现有基准测试不同，PLE包含85个跨越电气、土木、结构和机械工程的长期、自主任务，要求模型生成逼真的、可计费的工程交付成果。对当前领先LLM的评估显示，它们的平均得分仅为50.6%，并消耗了大量的计算资源，这凸显了它们当前能力与自主物理工程设计之间存在的巨大差距。 AI
影响 该基准测试突显了当前LLM在复杂、现实世界工程任务中的局限性，表明在自主能力和长期推理方面需要进一步发展。
排序理由 该项目描述了一个用于评估特定领域LLM的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
