开发了一个新的基准来评估角色提示对用于学者推荐的大型语言模型（LLM）的影响。该研究审计了六个科学学科的43个LLM，分析了语言、地点和角色与任务提示的变化如何影响推荐的技术质量和社会代表性。研究结果表明，虽然模型选择主要影响技术质量，但提示设计显著影响多样性和事实性，特定的地点提示在准确性和同质性方面产生了不同的结果。 AI
影响 强调了提示工程在塑造AI输出中的关键作用，尤其是在学术背景下，影响了感知到的专业知识和多样性。
排序理由 该集群包含一篇详细介绍新基准和研究结果的学术论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2605.28187v1 Announce Type: cross Abstract: Large language models (LLMs) are increasingly used as scholar recommenders, shaping who is seen as an expert in academia. Existing audits remain English-centric, single discipline, and persona-agnostic, leaving the source of outpu…
Large language models (LLMs) are increasingly used as scholar recommenders, shaping who is seen as an expert in academia. Existing audits remain English-centric, single discipline, and persona-agnostic, leaving the source of output variability poorly understood. To this end, we p…