ConvexLLM

ConvexLLM 引入凸组合用于音频智能

研究人员推出 ConvexLLM，这是一种新颖的语音和音频语言模型，它使用 C-Gate 接口将音频表示为冻结文本嵌入的凸组合。该方法旨在帮助解码器更好地解释声学信息，同时保留其预训练的文本能力。ConvexLLM 表现强劲，在包含十一个任务的 VoiceBench 基准测试中取得了 75.36 的综合得分，优于其他开源模型，并在 MMAU Test-mini 上达到了 62.50% 的准确率。