一项发表在arXiv上的新研究通过检查电影偏好来调查大型语言模型(LLMs)的评估倾向。研究人员发现,来自Anthropic、OpenAI、阿里巴巴集团和Mistral AI的八个模型一致偏爱评论上受赞誉但商业上冷门的电影,而非商业上成功但评论上未被认可的电影。这种评论赞誉导向随着每个家族模型规模的增大而增加。研究还表明,提示框架显著影响模型排名,这表明评论赞誉偏见可能在现实世界的LLM应用中间接体现出来。 AI
影响 表明大型语言模型可能表现出与人类评论家相似的偏见,可能影响推荐系统和内容生成。
排序理由 关于大型语言模型行为和评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Alibaba Group
- Anthropic
- arXiv
- Bradley--Terry model
- Hugging Face
- Large Language Models
- Ordinary Least Squares
- Mistral AI
- OpenAI
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →