SimuVerity

新的 SimuVerity 基准测试评估用于 Simulink 模型生成的 AI 代理

研究人员推出了 SimuVerity，这是一个旨在评估 AI 代理生成工程级 Simulink 模型能力的新基准测试。该基准测试包含十个工程领域的 101 项任务，不仅评估模型是否能编译或执行，还通过仿真场景评估其是否符合工程规范。对六个代理系统的初步评估显示，即使是表现最好的代理得分也仅为 42.86，这凸显了在生成合格实现和满足多维度要求方面存在的重大挑战。