实体 Colla-Q

Colla-Q

PulseAugur coverage of Colla-Q — every cluster mentioning Colla-Q across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_259320 · Sep 17 · 04:00

新的 Colla-Q 框架通过激活熵平衡 MoE 专家性能

研究人员推出了一种新颖的量化框架 Colla-Q，旨在减轻 Mixture-of-Experts (MoE) 模型中的性能下降。该方法利用激活熵来平衡各个专家之间的比特分配，确保协作性能并减少对校准数据集的依赖。通过促进一致的专家性能，Colla-Q 旨在增强量化 MoE 架构的整体鲁棒性和稳定性。