HybridSign

新型混合模型提升实时手语生成能力

研究人员开发了HybridSign，一种融合了自回归和扩散技术的新型模型，可实现更高效、实时的手语生成。该方法旨在克服扩散模型的延迟问题和自回归模型的错误累积问题。HybridSign采用多尺度姿态表示和置信度感知因果注意力机制，以增强鲁棒性并捕捉详细的发音器官特征。在基准数据集上的实验表明，HybridSign在生成质量和速度之间取得了卓越的平衡，显著降低了延迟并提高了吞吐量。