实体
Murat Bilgehan Ertan
Murat Bilgehan Ertan
PulseAugur coverage of Murat Bilgehan Ertan — every cluster mentioning Murat Bilgehan Ertan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
DP-SGD面临基本隐私-效用权衡局限性
一篇新发表在arXiv上的研究论文详细介绍了差分隐私随机梯度下降（DP-SGD）的基本局限性，DP-SGD是用于隐私模型训练的常用方法。该研究在$f$-差分隐私框架下分析DP-SGD，证明了同时实现强隐私和高效用具有挑战性。研究结果表明，强制执行鲁棒隐私需要显著增加噪声，而这反过来会降低模型准确性，在标准对抗性假设下为DP-SGD带来了瓶颈。
-
新的 DP-SGD 子采样方法提供了改进的隐私-效用权衡
两篇新研究论文探讨了差分私有随机梯度下降（DP-SGD）的优化子采样技术。第一篇论文侧重于随机洗牌，在 f-DP 框架内提供了紧密的上限和下限，在大量训练轮次中实现了近乎理想的隐私。第二篇论文介绍了平衡迭代子采样（BIS），表明结构化参与而非随机抽样可以带来更强的隐私放大和跨噪声谱的最优权衡。评估表明，BIS 在低噪声环境下始终优于泊松子采样，从而降低了所需的噪声乘数。
-
PACZero 实现具有可用效用的 PAC-私有语言模型微调
研究人员开发了 PACZero，一种新颖的大型语言模型微调方法，可提供强大的隐私保证。该方法利用梯度的符号量化来实现一种隐私机制，在这种机制下，成员推断攻击的成功率不高于随机猜测。PACZero 在 SST-2 和 SQuAD 等标准基准测试中表现出具有竞争力的性能，即使在零互信息的情况下，在高隐私设置下也优于先前的方法。