Yanan Wang

新数据集和框架解决了物理动画的LLM代码生成问题

研究人员推出了SimuScene，这是一个用于训练和评估大型语言模型（LLM）生成物理启发式动画代码的新型数据集和框架。该数据集包含五个物理领域的7,659个场景，以及一个包含334个示例的已验证测试集。目前的LLM在此任务上表现不佳，最佳模型的准确率仅为21.5%，这凸显了根据文本描述创建可执行且视觉上准确的动画的复杂性。为了解决这个问题，开发了一个强化学习管道，该管道利用生成视频的视觉奖励和视觉语言模型来提高LLM的性能。