Facial Action Unit-Text Semantic Fusion

大语言模型框架融合面部线索和文本以进行面试人格识别

研究人员开发了一个新的异步视频面试（AVI）中人格识别框架，该框架利用大语言模型（LLM）融合面部动作单元（AU）数据和文本响应。这种多模态方法将AU序列转换为文本描述，然后使用LLM与受访者的文本响应相结合。生成的嵌入用于预测连续的人格分数，与现有方法相比，在AVI-6基准上显示出更高的准确性和与人类评分的相关性。研究强调，AU衍生的语义表示提供了有价值的非语言线索，补充了文本信息，从而提高了训练的稳定性和结果的可解释性。