研究人员推出RealPref,这是一个旨在评估大型语言模型(LLM)在扩展交互中遵循用户偏好能力的新基准。该基准包括合成用户画像、个性化偏好和长时交互历史,并包含从显式到隐式的不同类型的偏好表达。初步结果显示,随着上下文长度的增加和偏好的日益隐式化,LLM的性能显著下降,凸显了在未见场景中泛化用户理解的挑战。 AI
影响 该基准通过突出当前在长期偏好遵循方面的局限性,有望推动更具个性化和适应性的AI助手的发展。
排序理由 该项目是一篇学术论文,介绍了一个用于评估LLM能力的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- large-language models
- LLMs
- Qianyun Guo
- RealPref
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →