PulseAugur
中
实时 08:42:40
English(EN) Silicon Sampling via Cross-Survey Transfer

新框架测试LLM模拟调查受访者的能力

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一个名为跨调查转移的新评估框架，以评估大型语言模型（LLM）在模拟人类调查受访者方面的有效性。利用2024年台湾选举与民主化研究（TEDS）的数据，该研究发现参数量为27B-120B的LLM在预测未见过调查问题的回答方面准确率达到52%，表现与监督学习模型相当。研究还确定了不同类型调查项目可预测性的层级，态度比主权更具可预测性。此外，该研究细化了关于方差崩溃和安全对齐等限制的先前发现，表明这些问题并非LLM独有。 AI

影响 这项研究阐明了使用LLM进行调查模拟的能力和局限性，可能影响社会科学研究的开展方式。

排序理由 学术论文发布在arXiv上，详细介绍了LLM在调查研究中的新评估框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.MA (Multiagent) 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新框架测试LLM模拟调查受访者的能力

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Chan-Tung Ku, Chan Hsu, Pei-Cing Huang, Frank Cheng-shan Liu, I-Ling Cheng, Yihuang Kang ·

    硅样本通过跨调查转移

    arXiv:2607.03091v1 Announce Type: new Abstract: Silicon sampling-using large language models (LLMs) to simulate human survey respondents-has emerged as a promising approach for augmenting traditional survey research. However, most evaluations rely on distributional comparisons ra…

  2. arXiv cs.MA (Multiagent) TIER_1 English(EN) · Yihuang Kang ·

    Silicon Sampling via Cross-Survey Transfer

    Silicon sampling-using large language models (LLMs) to simulate human survey respondents-has emerged as a promising approach for augmenting traditional survey research. However, most evaluations rely on distributional comparisons rather than individual-level prediction, which ris…

相关实体

相关话题