HybridCodec

HybridCodec 通过双流、语义增强技术推进神经音频编解码器

研究人员推出了一种新颖的神经音频编解码器 HybridCodec，专为多模态大语言模型的语音标记而设计。该架构通过采用独立的语义和声学分支，并从 SSL 表示中提取语义信息，统一了两种现有方法。所得模型在推理时无需 SSL 模型即可实现强大的语义解耦，并展示了卓越的语义专业化和有竞争力的重建能力。HybridCodec 的速度也比以前的双流模型快 3 倍，并在域外和零样本跨语言场景中表现出鲁棒性。