PulseAugur
中
实时 09:33:34

New SpectraReward method uses MLLMs for zero-shot text-to-image generation

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的无需训练的奖励函数SpectraReward，旨在利用预训练的多模态大语言模型（MLLMs）作为现成的奖励模型，用于文本到图像生成。该方法评估从生成的图像中重建原始提示的程度，利用MLLM固有的图像-文本对齐能力，而无需偏好标签或奖励模型微调。一个专门的版本Self-SpectraReward，能够在统一的多模态模型中实现闭环自我改进框架。在各种扩散模型、RL算法和MLLM规模上的实验表明，SpectraReward能够持续提高生成性能，优于现有的MLLM衍生的奖励训练技术。 AI

影响 这项研究通过实现零样本奖励建模，有望提高文本到图像生成模型的训练效率和有效性。

排序理由 该集群包含一篇详细介绍多模态AI新方法的学术论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

New SpectraReward method uses MLLMs for zero-shot text-to-image generation

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Runhui Huang, Qihui Zhang, Zhe Liu, Yu Gao, Jie Wu, Hengshuang Zhao ·

    Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

    arXiv:2607.11886v1 Announce Type: new Abstract: In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image…

  2. arXiv cs.CV TIER_1 English(EN) · Hengshuang Zhao ·

    回读：预训练的多模态大语言模型是文本到图像生成的零样本奖励模型

    In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image or answer decomposed verification questions, Sp…

相关实体

相关话题