实体 DP-Muon-IM

DP-Muon-IM

PulseAugur coverage of DP-Muon-IM — every cluster mentioning DP-Muon-IM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_280376 · Oct 5 · 04:00

新的Inner Momentum技术增强了差分隐私模型训练

研究人员开发了一种名为Inner Momentum (IM) 的新方法，以提高差分隐私机器学习模型的准确性，特别是在微调GPT-2等任务中。该技术解决了梯度裁剪（一种标准的隐私保护措施）可能扭曲模型几何特性的问题。通过在裁剪之前对近期模型的一小段历史中的梯度进行平均，DP-Muon-IM减少了这种失真，并在BLEU和ROUGE-L等基准测试中显示出比原始DP-Muon方法更好的性能。