Fare

MoE语言模型通过路由显示有限的刻板印象控制

一篇新的研究论文探讨了通过调整路由机制来控制混合专家（MoE）语言模型中刻板印象的方法。该研究引入了公平感知路由均衡（FARE）框架来诊断和潜在地减轻人口统计学偏见。然而，在包括DeepSeekMoE、Qwen1.5和Mixtral在内的五种MoE架构上的实验表明，所测试的重加权程序在减少刻板印象表达方面取得的成功有限，在偏好分数和毒性指标方面观察到的变化很小。