研究人员探索了令牌稀疏化技术，以提高音频 Transformer 的效率，由于自注意力机制，音频 Transformer 计算量很大。虽然令牌稀疏化在视觉和语言领域已有研究，但在音频领域的应用尚不成熟。这项工作广泛评估了不同数据集和模型大小的各种令牌修剪和合并策略，同时考虑了训练后和微调场景。该研究引入了一种将注意力分数与令牌嵌入的光谱特征相结合的新方法，证明了频率感知方法，特别是使用频谱平坦度和低频能量的方法，优于仅注意力的方法。此外，基于频谱图块强度进行稀疏化对于较长的音频输入非常有效。 AI
影响 这项研究可能带来更高效的音频处理模型，从而能够在资源受限的设备上更广泛地部署。
排序理由 学术论文，详细介绍了提高 Transformer 效率的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
