Creator-Solver

新的PLE基准测试揭示前沿LLM在物理工程任务中表现不佳

一个名为PLE的新基准测试已被开发出来，用于评估前沿语言模型在执行专业物理工程任务方面的能力。与侧重于教科书问题或孤立工具使用的现有基准测试不同，PLE包含85个跨越电气、土木、结构和机械工程的长期、自主任务，要求模型生成逼真的、可计费的工程交付成果。对当前领先LLM的评估显示，它们的平均得分仅为50.6%，并消耗了大量的计算资源，这凸显了它们当前能力与自主物理工程设计之间存在的巨大差距。