研究人员开发了一种新方法，通过将响应时间纳入偏好数据集中，来改进大型语言模型与人类偏好的对齐。这种方法解决了标准方法中假设标注者具有统一偏好的局限性，而这种假设可能会扭曲学习到的模型策略。通过使用漂移扩散模型（Drift-Diffusion Model）对决策进行建模，这项新技术即使在存在异构和匿名反馈的情况下，也能识别出人群的平均偏好，其表现优于现有基线。 AI
影响 通过纳入响应时间来增强大型语言模型的对齐，有可能改善模型在多样化用户群体中的安全性和实用性。
排序理由 该聚类包含一篇详细介绍改进大型语言模型对齐的新颖方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.06987v1 Announce Type: cross Abstract: Aligning large language models (LLMs) to human preferences typically relies on aggregating pooled feedback into a single reward model. However, this standard approach assumes that all labelers share the same underlying preferences…
Aligning large language models (LLMs) to human preferences typically relies on aggregating pooled feedback into a single reward model. However, this standard approach assumes that all labelers share the same underlying preferences, ignoring the fact that real-world labelers are h…