研究人员推出了一种新颖的混合框架CoRAL，旨在克服自回归模型（ARMs）和扩散语言模型（DLMs）在多模态推理中的局限性。CoRAL采用了非对称规划器-执行器（APE）架构，其中DLM规划器并行生成多个推理路径，而大型ARM执行器则选择最佳路径并合成最终答案。为了增强规划器的训练，一种名为“奖励引导去噪”（RDC）的新技术将基于结果的奖励整合到扩散过程中。在视觉-语言基准上的实验表明，CoRAL在效率和质量方面优于现有的基于扩散的方法，并且与强大的ARMs相比具有竞争力。 AI
影响 这种混合框架有望提高多模态推理任务的效率和质量，可能影响需要复杂理解文本和图像的应用。
排序理由 这是一篇描述用于多模态推理的新框架和训练技术的研究论文。
在 Hugging Face Daily Papers 阅读 →
- ARM Executor
- arXiv
- Asymmetric Planner-Executor
- autoregressive model
- Collaborative Reasoning Asymmetric Learning
- CoRAL
- Diffusion language models
- DLM Planner
- Hugging Face
- RDC
- Reward-Guided Denoising for CoT
- Sequentiality Bottleneck
- vision-language benchmarks
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
