Recipe Graph Learning

新的ReGraph框架使LMM能够从食物图像生成结构化食谱图

研究人员推出了ReGraph，这是一个新颖的数据集和框架，旨在使大型多模态模型（LMM）能够从食物图像生成结构化食谱图。该方法旨在明确表示食材、烹饪动作和工具，以及它们的状态变化和过程依赖关系，超越了简单的文本食谱生成。实验表明，虽然当前的LMM在生成合理的文本方面表现出色，但它们在捕捉准确生成图所需的详细过程知识方面存在困难，突出了食材状态捕捉是一个关键挑战。