27B-120B parameters

新框架测试LLM模拟调查受访者的能力

研究人员开发了一个名为跨调查转移的新评估框架，以评估大型语言模型（LLM）在模拟人类调查受访者方面的有效性。利用2024年台湾选举与民主化研究（TEDS）的数据，该研究发现参数量为27B-120B的LLM在预测未见过调查问题的回答方面准确率达到52%，表现与监督学习模型相当。研究还确定了不同类型调查项目可预测性的层级，态度比主权更具可预测性。此外，该研究细化了关于方差崩溃和安全对齐等限制的先前发现，表明这些问题并非LLM独有。