CLMP
PulseAugur coverage of CLMP — every cluster mentioning CLMP across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的SA-SAM方法在高度稀疏性下提高了深度神经网络的鲁棒性
研究人员开发了稀疏性自适应锐度感知最小化（SA-SAM）方法，这是一种提高深度神经网络在常见损坏下的鲁棒性的新方法，尤其是在高稀疏性水平下。SA-SAM根据稀疏性调整扰动半径以维持鲁棒性，并引入了幅度加权Hessian（MWH）进行模型剪枝。在CIFAR和ImageNet损坏数据集上的实验表明，SA-SAM在高稀疏性（80-90%）下实现了比现有方法更好的鲁棒性，同时保持了干净精度。
-
新研究揭示LLM因Fisher几何特性导致的安全对齐脆弱性
一篇新研究论文探讨了大型语言模型（LLMs）中的安全对齐为何会变得脆弱，即使在良性微调之后也是如此。该研究提出了一个Fisher几何学的解释，认为安全对齐导致了低秩的Fisher信息矩阵。这种几何特性使得在最小化微调后，MLP模块中的输出路由路径可以被选择性地重新锐化，从而导致安全行为崩溃，而通用效用则基本保持不变。研究还表明，LoRA和ASAM等技术可以暂时缓解这种早期崩溃，但在更大规模的微调中效果会减弱。
-
新的TIMA框架增强了基础模型在零样本对抗中的鲁棒性
研究人员开发了一个名为TIMA（文本-图像相互感知）的新框架，以提高像CLIP这样的基础模型的零样本对抗鲁棒性。TIMA解决了在提高鲁棒性以抵御对抗性攻击的同时，保持泛化能力所面临的挑战。该框架包括用于调整文本和图像嵌入的模块，以更好地平衡logit边际并保持语义一致性，在实验中表现优于现有方法。
-
图神经网络深度值由Kesten-Stigum比率决定
一篇新论文探讨了稀疏图上图神经网络的最佳深度，重点关注上下文随机块模型中的节点分类。研究表明，网络的性能取决于Kesten-Stigum比率，该比率与信号衰减和平均度相关。低于临界阈值时，增加深度收益递减；高于该阈值时，性能呈几何级数增长，尽管存在理论下限。