Visatronic

新研究探索了仅解码器Transformer中的多模态同步

研究人员探索了在仅解码器Transformer中改进多模态同步的机制，特别是在视频-文本到语音（VTTS）合成方面。他们的研究使用了在VoxCeleb2上训练的Visatronic模型，研究了序列设计和位置编码策略如何影响具有不同采样率的模态之间的时间对齐。研究结果表明，虽然全局序列索引和共时有序索引在域内表现相似，但在域转移下，模态排序和位置ID设计变得至关重要。文本优先共时索引在没有显式时间戳元数据的情况下，展示了最强的跨域迁移能力。