Geertz

新框架评估大型语言模型与在线社群动态的对齐程度

研究人员开发了CARE（Community-Aware Reaction Evaluation，社群感知反应评估）框架，旨在评估大型语言模型（LLMs）模拟在线社群语言行为和态度的能力。CARE将LLM生成的论述与社群对新闻事件的真实反应进行基准测试，重点关注言外之意和潜在态度。框架的分析揭示了一个显著的“现实差距”，表明即使有明确的社群提示，LLM在准确模拟社会动态方面仍存在困难。此外，研究还识别了不同前沿模型之间独特的行为模式，表…