ALaDiT

新AI框架生成独立于说话人风格的文化感知手势

研究人员开发了SICAGE，一个新颖的框架，用于生成对文化细微差别敏感且独立于个人说话人风格的伴随语音手势。该系统从音频和文本中学习文化表征，确保生成的手势在文化上是恰当的，并与语音同步。该框架使用新创建的TED4C-L数据集进行了验证，该数据集包含来自四个文化群体的764名TED演讲者的106小时手势数据。实验表明，SICAGE显著提高了生成手势的真实性、多样性、同步性和文化一致性。