Semantic Audio Generative Encoder

新的SAGE音频编码器平衡了质量、速度和语义

研究人员推出了一种新的语义音频生成编码器SAGE，旨在提高音频重建质量、语义结构和推理速度之间的平衡。这个拥有1.05亿参数的模型在公开的音乐数据上进行训练，并从预训练的音频-文本模型中提取嵌入，以塑造其潜在空间。据报道，SAGE的运行速度比Stable Audio Open快三倍，在听众测试质量上与一个规模大其八倍的模型相当，同时在客观指标上也优于两者，并在潜在语义探测任务上设定了新的最先进水平。