Mosei Hayashi

新的SentiLLM框架利用LLM增强多模态情感分析

研究人员开发了SentiLLM，一个用于多模态情感分析的新框架，该框架将自然语言与非语言线索相结合。该系统使用语义对齐结构化抽象技术将连续的原始信号转换为大型语言模型（LLM）可理解的有意义的标记。一个关键组成部分是双流显著性-上下文校准机制，它将显著的情感变化与稳定的背景状态分开，提高了LLM解释复杂情感序列的能力。SentiLLM在四个基准数据集上表现出色：MOSI、MOSEI、CH-SIMS和CH-SIMS v2。