SemEval

大型语言模型在社交消息中展现出强大的零样本叙事检测能力

研究人员探索了大型语言模型（LLMs）在无先验训练数据的情况下检测社交消息中叙事的能力。使用人类编写的叙事描述进行的实验显著提高了LLMs在Dipromats和SemEval等数据集上的性能，优于少样本或自动生成的描述。研究发现，集成方法，特别是多数投票，提高了鲁棒性，而更大的模型则产生了最佳结果，并且对提示的变化不太敏感。这些发现表明，即使在有人类提供的描述时，LLMs也能成为叙事检测的可扩展解决方案，甚至可以与监督系统相媲美。