English(EN) How Many Human Survey Respondents is a Large Language Model Worth? An Uncertainty Quantification Perspective

新框架量化LLM调查模拟不确定性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-22 04:00

研究人员开发了一个新框架，用于量化使用大型语言模型（LLM）模拟调查响应的不确定性。该方法有助于确定需要多少模拟响应才能确保对总体参数进行可靠推断，平衡置信区间过窄或过宽的风险。该方法自适应地选择模拟样本量，无论LLM的准确性如何，都能实现名义覆盖率，并且还可以反映LLM的模拟保真度。 AI

影响提供了一种提高LLM生成调查数据可靠性的方法，可能影响市场研究和科学研究。

排序理由关于量化LLM生成数据不确定性新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Chengpiao Huang, Yuhang Wu, Kaizheng Wang · 2026-05-22 04:00

How Many Human Survey Respondents is a Large Language Model Worth? An Uncertainty Quantification Perspective

arXiv:2502.17773v5 Announce Type: replace-cross Abstract: Large language models (LLMs) are increasingly used to simulate survey responses, but synthetic data can be misaligned with the human population, leading to unreliable inference. We develop a general framework that converts…