Mélissa Tamine

新方法高效评估用于 LLM 对齐的偏好数据集

研究人员开发了一种新方法，用于高效评估用于对齐大型语言模型 (LLM) 的偏好数据集。所提出的基于 Shapley 的方法，称为顺序偏好优化 (SPO)，显著降低了与传统 Shapley 值计算相关的计算成本。SPO 通过在单个数据集上顺序训练模型并在推理时重建联盟策略来实现这一点，从而将所需的对齐次数从指数级降低到线性级。该方法允许更实际地评估每个偏好数据集对 LLM 对齐的贡献。