Frame-Adaptive Layer Aggregation

新的适配方法以最少参数改进说话人验证

研究人员开发了一种面向大型自监督语音模型的参数高效适配方法，旨在降低说话人验证任务的微调计算成本。提出的流形约束残差适配器（MCRA）通过分割隐藏维度并使用Sinkhorn归一化矩阵进行组间信息交换来修改Transformer残差连接，并通过可学习的门控进行控制。此外，帧自适应层聚合（FALA）技术使用基于注意力机制的方法，根据语音帧动态加权层表示，在基准数据集上以最少的训练参数实现了显著的错误率降低。