研究人员推出 MoETok,这是一种新颖的 1D 视觉标记器,旨在改进图像表示和生成。MoETok 利用稀疏专家路由,允许标记根据其角色(内容或细节)由专门的专家进行处理。这种方法在各种模型规模上持续增强重建、语义表示和自回归生成。MoETok 在 ImageNet 上的条件生成方面表现出最先进的性能,并在统一的理解和生成自回归模型中取得了有竞争力的结果,在 DPG-Bench 和 GenEval2 等基准测试中优于 BAGEL 和 Qwen-Image 等扩散模型。 AI
影响 这项研究可能为生成式 AI 模型带来更高效、更有效的视觉标记器。
排序理由 该集群描述了学术论文中提出的一种新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →