response time

新方法利用响应时间改进大型语言模型与多样化偏好的对齐

研究人员开发了一种新方法，通过将响应时间纳入偏好数据集中，来改进大型语言模型与人类偏好的对齐。这种方法解决了标准方法中假设标注者具有统一偏好的局限性，而这种假设可能会扭曲学习到的模型策略。通过使用漂移扩散模型（Drift-Diffusion Model）对决策进行建模，这项新技术即使在存在异构和匿名反馈的情况下，也能识别出人群的平均偏好，其表现优于现有基线。