Low-Rank Experts

RoME引入鲁棒低秩专家以增强对抗防御能力

研究人员开发了RoME（鲁棒低秩专家混合模型），这是一种增强机器学习模型对抗鲁棒性的新方法。RoME采用专家混合（MoE）架构，其中每个专家是对共享骨干网络的低秩更新，能够更好地专门处理威胁特定特征，同时有效捕捉共性。该系统还结合了双尺度门控和威胁引导多样化，以确保在不同对抗性扰动下进行有效的路由和专家利用。实验表明，RoME在鲁棒性和自然准确性方面均优于当前最先进的方法，甚至提高了对先前未见威胁的抵抗能力。