PrefMoE

新框架解决个性化多模态大语言模型中的偏好崩溃问题

研究人员在个性化多模态大语言模型（MLLMs）中发现了一种称为“群体偏好崩溃”的现象。当模型旨在迎合个体用户时，它们反而会趋同于占主导地位的人口水平偏好，从而压制了独特的用户信号。为了解决这个问题，提出了一个名为PrefMoE的新框架。PrefMoE将稳定的用户画像信息与偏好相关数据分开，并采用不平衡感知学习和反事实增强等技术来保留个性化偏好。实验表明，PrefMoE在各种MLLM骨干模型上都能增强偏好敏感的个性化并缓解崩溃问题。