Txt2Emote

新框架EmoteGPT根据文本生成3D人脸表情

研究人员推出EmoteGPT，一个用于从自然语言描述生成3D人脸表情的新颖框架。该系统利用一个多模态大型语言模型，通过一个专门的token将文本输入转换为3D可变形模型（3D Morphable Model）的参数。该框架在一个名为Txt2Emote的新基准数据集上进行了训练，该数据集包含详细的表情文本注释，并进一步使用了图像到3DMM的数据进行增强。与现有的文本到3D人脸合成方法相比，EmoteGPT在表现力和情感识别方面表现出卓越的性能。