SAGML

New SAGML Framework Enhances Emotional Video Captioning

研究人员开发了SAGML，一种用于自适应情感视频字幕生成（EVC）的新型框架。该方法通过构建一个软情感异构图来解决现有方法的局限性，该图包含目录级别和词汇级别的感情节点。该图允许更灵活地表示混合或重叠的情感，并通过软门控机制防止正确词汇情感的不可逆抑制。该框架使用结合了自回归字幕生成和显式情感分布学习的联合目标进行训练。