Chinese online comments

新基准测试LLM对细微中文网络评论的理解能力

研究人员开发了一个新的基准测试，用于评估大型语言模型（LLMs）在中国网络评论中理解社交语用推理的能力。该基准测试由超过20万次社交媒体互动构成，包含4,735个经过人类验证的项目，旨在测试模型是否能在对话语境中区分评论的合理解读。这项任务被证明具有挑战性，在“留作者在外”的设置下，表现最佳的模型准确率达到了81.42%，远低于人类90.8%的准确率。分析显示，虽然模型通常能检测到普遍的讽刺或俏皮，但它们难以识别这些细微之处背后的具体…