实体 MoETok

MoETok

PulseAugur coverage of MoETok — every cluster mentioning MoETok across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_336511 · Nov 2 · 05:00

MoETok 引入稀疏专家路由以增强视觉标记

研究人员推出 MoETok，这是一种新颖的 1D 视觉标记器，旨在改进图像表示和生成。MoETok 利用稀疏专家路由，允许标记根据其角色（内容或细节）由专门的专家进行处理。这种方法在各种模型规模上持续增强重建、语义表示和自回归生成。MoETok 在 ImageNet 上的条件生成方面表现出最先进的性能，并在统一的理解和生成自回归模型中取得了有竞争力的结果，在 DPG-Bench 和 GenEval2 等基准测试中优于 BAGEL 和 …