audio transformers

新研究探索用于高效音频 Transformer 的令牌稀疏化

研究人员探索了令牌稀疏化技术，以提高音频 Transformer 的效率，由于自注意力机制，音频 Transformer 计算量很大。虽然令牌稀疏化在视觉和语言领域已有研究，但在音频领域的应用尚不成熟。这项工作广泛评估了不同数据集和模型大小的各种令牌修剪和合并策略，同时考虑了训练后和微调场景。该研究引入了一种将注意力分数与令牌嵌入的光谱特征相结合的新方法，证明了频率感知方法，特别是使用频谱平坦度和低频能量的方法，优于仅注意力的方法。此…