BEAT2
PulseAugur coverage of BEAT2 — every cluster mentioning BEAT2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
StreamTalk 框架以更高的准确性生成实时语音同步手势
研究人员开发了 StreamTalk，一个用于实时生成逼真语音同步手势的新框架。与之前存在长序列累积漂移问题的开环方法不同，StreamTalk 采用闭环系统，包含生成-检索-精炼循环。该方法使用关键姿态作为锚点，以限制漂移并提高轨迹精度。该框架还采用了随机姿态掩码和感知部件的 DiT 等技术，以增强运动恢复并减少不同运动流之间的干扰，在 BEAT2 数据集上取得了最先进的成果。
-
SemConFlow模型通过对比学习增强协同说话手势生成
研究人员开发了SemConFlow，一种新颖的协同说话手势生成方法，旨在产生更整体、语义更强的姿态。与依赖外部语义规则的先前方法不同，SemConFlow使用对比流匹配，并将不匹配的音频-文本条件作为负例。该技术训练模型遵循正确的运动轨迹，同时排斥语义不一致的轨迹，从而学会生成标志性和隐喻性手势。该模型还通过将文本、音频和运动嵌入到复合潜在空间中来确保跨模态一致性，在BEAT2和SHOW数据集上的表现优于现有方法。
-
新方法改进了人工智能对伴随语音手势的理解
研究人员开发了一种名为“语义运动锚点”的新方法，以改进对伴随语音手势的理解和生成。该方法通过创建捕捉手势形式和交流意图的自然语言抽象来弥合口语和物理运动之间的差距。通过离散化手势动作并对其进行言语化，该系统提供了辅助监督，提高了检索准确性，并导致生成更具语义意义的手势。
-
PersonaGesture 为未见过说话人个性化说话同步手势
研究人员开发了 PersonaGesture，一个新基于扩散的系统，旨在为未见过说话人个性化说话同步手势。该系统接收目标语音和一个新个体的单运动片段，以生成与话语匹配并保留说话人独特风格的手势。PersonaGesture 利用自适应风格注入和隐式分布校正来有效分离说话人身份和话语特定运动，与现有方法相比提高了个性化效果。