OpenMEVA-MAGS ROC/WP

新的诊断工具PACE可预测AI优化中的人类收益曲线

研究人员开发了PACE（代理对齐与曲率扩展），一种新的诊断工具，旨在预测随着优化强度增加，人类感知的质量将如何变化。与以往仅依赖平均代理-人类相关性的方法不同，PACE使用重复的人类评分来建模收益曲线，并用一个考虑了一阶对齐和二阶校正的公式来近似它。该方法在预测各种数据集和实验（包括涉及GPT-4o和LoRA-DPO的实验）中未见数据的收益误差方面，已显示出持续的改进，并有望弥合与实际优化之间的差距。