AudioTETRIS

AudioTETRIS框架将音频大语言模型效率提升75%

研究人员开发了AudioTETRIS，一个旨在提高大型音频语言模型（LALM）效率的新型两阶段框架。该方法利用音频信号的固有结构，特别是声学过渡，在应用基于注意力机制的压缩之前指导令牌选择。通过将音频编码器的表示几何作为声学先验，AudioTETRIS计算每令牌的融合分数，以驱动跨解码器层的渐进式令牌选择。这种方法可以显著减少令牌数量，仅用25%的音频令牌即可保持接近未压缩的性能，并且优于现有的无需训练的压缩方法。