U-Shaped Split Learning

新的隐私防御方法用于修剪视觉语言模型的视觉标记

研究人员开发了 QPriv-VL，一个旨在增强用于联邦学习等敏感应用的视觉语言模型（VLM）隐私的新框架。该系统在传输前智能地修剪视觉标记，从而降低数据传输成本并减少暴露私人信息的风险。QPriv-VL 使用动态阈值预测器（DTP），该预测器考虑问题相关性和特征敏感性，以选择性地保留重要的视觉数据，同时抑制潜在的敏感区域，在传输的标记少得多的情况下实现了具有竞争力的准确性。