Component-Aware Differential Privacy

新的“$\alpha$-split”方法增强了联邦学习中语音大模型的隐私保护

研究人员开发了一种名为“$\alpha$-split”的新方法，以提高多语言语音大语言模型（speech-LLMs）在联邦学习中的差分隐私保护。标准的逐层差分隐私方法在声学编码器和语言解码器组件更新范数差异显著时会遇到困难，导致“跨组件预算崩溃”。提出的$\alpha$-split方法通过为编码器和LLM参数创建两个独立的池来解决这个问题，在保持原始$(\varepsilon,\delta)$-DP保证的同时，为编码器提供了增强的噪声…