subgroup reweighting

新的MoE框架解决深度学习模型中的公平性偏差

研究人员开发了一种新的端到端专家混合（MoE）框架，以解决深度学习模型在不同人口统计群体之间的性能差异问题。该框架解决了“路由引起的偏差”，即子群不平衡导致门控网络将子群不成比例地分配给特定专家。通过纳入子群重加权来纠正数据不平衡，以及门控熵正则化来确保专家利用的平衡，所提出的方法旨在提高公平性，同时保持具有竞争力的预测性能。路由分布还提供了子群分配的可解释视图。