Murat Bilgehan Ertan
PulseAugur coverage of Murat Bilgehan Ertan — every cluster mentioning Murat Bilgehan Ertan across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新公式校准差分隐私随机梯度下降噪声以对抗成员推断攻击
研究人员开发了一种新的闭式公式，用于校准差分隐私随机梯度下降（DP-SGD）的噪声水平。DP-SGD 是一种通过向梯度添加噪声来保护训练数据的方法。该公式特别适用于具有随机分配的 DP-SGD，其中每个记录在每个 epoch 中随机使用一次。推导出的公式提供了对使用此方法训练的模型的成员推断攻击（MIA）准确度的上限，与传统的数值隐私会计方法相比，提供了一种更有效的方法来确定必要的噪声乘数。
-
DP-SGD面临基本隐私-效用权衡局限性
一篇新发表在arXiv上的研究论文详细介绍了差分隐私随机梯度下降（DP-SGD）的基本局限性，DP-SGD是用于隐私模型训练的常用方法。该研究在$f$-差分隐私框架下分析DP-SGD，证明了同时实现强隐私和高效用具有挑战性。研究结果表明，强制执行鲁棒隐私需要显著增加噪声，而这反过来会降低模型准确性，在标准对抗性假设下为DP-SGD带来了瓶颈。
-
新的 DP-SGD 子采样方法提供了改进的隐私-效用权衡
两篇新研究论文探讨了差分私有随机梯度下降（DP-SGD）的优化子采样技术。第一篇论文侧重于随机洗牌，在 f-DP 框架内提供了紧密的上限和下限，在大量训练轮次中实现了近乎理想的隐私。第二篇论文介绍了平衡迭代子采样（BIS），表明结构化参与而非随机抽样可以带来更强的隐私放大和跨噪声谱的最优权衡。评估表明，BIS 在低噪声环境下始终优于泊松子采样，从而降低了所需的噪声乘数。
-
PACZero 实现具有可用效用的 PAC-私有语言模型微调
研究人员开发了 PACZero，一种新颖的大型语言模型微调方法，可提供强大的隐私保证。该方法利用梯度的符号量化来实现一种隐私机制，在这种机制下，成员推断攻击的成功率不高于随机猜测。PACZero 在 SST-2 和 SQuAD 等标准基准测试中表现出具有竞争力的性能，即使在零互信息的情况下，在高隐私设置下也优于先前的方法。