six LLMs

新基准揭示大型语言模型难以应对随时间演变的文化态度

一个名为 ChronoCulture 的新基准已被开发出来，用于评估大型语言模型（LLMs）在不同时期内的文化意识。该基准由 10,360 个时间对组成，这些时间对源自 72 个国家/地区的纵向调查数据，并使用调查问题和人口响应分布作为真实情况。对六个 LLMs 的初步测试表明，虽然这些模型通常可以预测特定时间点的文化态度，但它们难以准确地表示这些态度是如何演变的。使用特定年份提示模型也显示出在与调查响应保持一致方面几乎没有改善，这表…