实体 DP-μP

DP-μP

PulseAugur coverage of DP-μP — every cluster mentioning DP-μP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_307984 · Oct 19 · 04:00

New DP-μP framework enables hyperparameter transfer for private model training

研究人员开发了DP-μP，一个将最大更新参数化（μP）扩展到差分隐私优化中的新框架。标准的μP在正常训练中允许零样本超参数迁移，但在DP约束下，由于噪声注入和梯度裁剪而失效。DP-μP通过分析这些隐私机制与特征学习之间的相互作用来解决这个问题，推导出了层级学习率缩放的信噪比（SNR）条件。该框架为DP-SGD、DP-Adam和DP-Muon优化器提供了具体的缩放规则，能够有效地在不同模型宽度和MLP、ViT、GPT-2等架构之间进行零…