实体
GroupNorm
GroupNorm
PulseAugur coverage of GroupNorm — every cluster mentioning GroupNorm across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
机器学习遗忘评估受 BatchNorm 伪影影响而存在缺陷
研究人员发现机器学习遗忘评估中存在一个显著的伪影，尤其影响使用 BatchNorm（批量归一化）的模型。这种被称为“BatchNorm 幻觉”的伪影，可以在不改变任何权重的情况下，通过在单次前向传播中改变模型的归一化状态，来逆转明显的遗忘指标。研究表明，这种幻觉可以将遗忘准确率提高多达 78 个百分点，并且可以通过使用 GroupNorm 代替 BatchNorm 来缓解。研究结果表明，由于这种测量偏差，先前的评估可能高估了遗忘方法的有效性。
-
新研究通过谱控制和低秩方法解决联邦微调问题 · 跟踪2个来源
两篇新研究论文提出了用于联邦参数高效微调（PEFT）的新颖方法，以解决通信瓶颈并提高模型在去中心化数据上的性能。第一篇论文介绍了TRISHUL，一个谱控制框架，它使用共享的冻结基和核范数收缩来稳健地聚合客户端更新，在LLaMA3.2-1B的视觉和语言基准测试中显示出收益。第二篇论文提出了FLITE，它利用带有低秩分解和增量公式的映射网络，实现了通信负载的大幅减少，在CIFAR-100和ResNet-18上表现强劲，即使在极端数据压缩下也是如此。