CanvasCraft

新的CanvasAgent编排视觉工具以实现复杂的图像创建

研究人员推出了CanvasCraft，这是一个大型数据集，包含140,000个带注释的轨迹和10,000个复杂图像创建和编辑的任务规范。他们还开发了CanvasAgent，这是一个多模态代理，旨在为这些任务编排各种视觉工具。CanvasAgent使用监督微调进行训练，然后使用GRPO进行优化，并为最终结果和中间过程纳入奖励。该代理可以检查结果、跟踪视觉资产，并根据不断变化的视觉状态调整其工具选择，在多工具图像创建工作流程中表现出有效性。