研究人员推出了 SimuVerity，这是一个旨在评估 AI 代理生成工程级 Simulink 模型能力的新基准测试。该基准测试包含十个工程领域的 101 项任务，不仅评估模型是否能编译或执行，还通过仿真场景评估其是否符合工程规范。对六个代理系统的初步评估显示，即使是表现最好的代理得分也仅为 42.86，这凸显了在生成合格实现和满足多维度要求方面存在的重大挑战。 AI
影响 该基准测试旨在改进对复杂工程任务 AI 代理的评估，有望带来更可靠的 AI 生成设计。
排序理由 该集群描述了一个新的基准测试及相关论文，用于评估特定领域（Simulink 模型生成）的 AI 代理。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.02304v1 Announce Type: cross Abstract: Existing Simulink benchmarks mainly evaluate whether generated models compile, execute, or resemble a reference model. These criteria do not establish whether a model satisfies its engineering requirements. We introduce SimuVerity…
Existing Simulink benchmarks mainly evaluate whether generated models compile, execute, or resemble a reference model. These criteria do not establish whether a model satisfies its engineering requirements. We introduce SimuVerity, a benchmark of 101 text-to-executable Simulink m…