Bradley-Terry (BT) model

MiCRo 框架增强个性化 LLM 偏好学习

研究人员推出 MiCRo，一个旨在增强大型语言模型 (LLM) 个性化偏好学习的新框架。这种两阶段方法解决了传统奖励建模的局限性，传统奖励建模通常假设单一的全局奖励函数，并且无法捕捉多样化的人类偏好。MiCRo 采用上下文感知混合建模来识别异构偏好，并采用在线路由策略根据特定上下文调整这些偏好，仅需最少的额外监督。实验表明，MiCRo 能有效捕捉多样化的人类价值观，并显著改善下游个性化。