GesBench

新基准GesBench评估多模态LLM的渐进式社会感知能力

研究人员推出了GesBench，这是一个旨在评估多模态大型语言模型（LLM）如何渐进式地理解社会含义的新基准，类似于人类处理信息的方式。与关注最终答案的现有基准不同，GesBench使用累积的话语片段来评估模型何时形成对说话者意图和社会可允许性的解释。该基准还通过干扰人类注视引导的区域来测试模型是否关注人类关注的相同线索。初步研究结果显示，人类和模型的感知之间存在显著差距，人类更早形成预测性理解并更频繁地修改它们，而模型则倾向于更加犹豫。