PulseAugur
实时 07:16:39
English(EN) Demographic Prompting at Scale: When More Attributes Hurt LLM--Human Agreement

LLM 中的人口统计学提示在 1-3 个属性时显示出最佳一致性

一项发表在 arXiv 上的新研究调查了提示中的人口统计学属性对大型语言模型 (LLM) 预测与人类标注之间一致性的影响。研究发现,在提示中使用一到三个高信号的人口统计学属性可以最大化一致性,而使用全套属性则会降低这种一致性。研究还表明,属性标注信号的可学习性和方向一致性对于提高 LLM 一致性至关重要,并且只有在标注信号一致时,专门的神经激活才与一致性收益相关。 AI

影响 最优的人口统计学提示策略可以提高 LLM 的一致性并降低标注成本。

排序理由 该集群包含一篇详细介绍 LLM 提示研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM 中的人口统计学提示在 1-3 个属性时显示出最佳一致性

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Mahammed Kamruzzaman, Shrabon Kumar Das, Gene Louis Kim ·

    Demographic Prompting at Scale: When More Attributes Hurt LLM--Human Agreement

    arXiv:2607.10590v1 Announce Type: new Abstract: We investigate how annotator demographic attributes, supplied as prompt cues, shape the alignment between large language model (LLM) predictions and human annotations across five tasks. Using five open-source LLMs, we systematically…