network pruning
PulseAugur coverage of network pruning — every cluster mentioning network pruning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的攻击框架同时针对多种LLM转换
研究人员开发了一个新的、可组合的攻击框架，该框架可同时针对应用于大型语言模型（LLM）的多种转换。这些转换，如量化、剪枝和模型合并，通常用于提高LLM的效率，但可能引入安全漏洞。该攻击的核心见解是，这些转换可以近似为模型权重的扰动，从而允许单一的训练目标同时模拟和靶向各种转换。实验证明了在各种模型和转换上的高成功率，突显了这些部署时修改相关的安全风险。
-
新的ACE-Compression框架评估模型压缩后LLM的能力损失
一个名为ACE-Compression的新框架已被开发出来，用于评估模型压缩对大语言模型的影响。该框架超越了传统的任务性能指标，以评估在应用量化和网络剪枝等压缩技术后，模型的哪些底层能力得以保留。研究发现，虽然基本能力通常会保留，但更复杂、依赖上下文的能力则比较脆弱。研究表明，ACE-Compression可以帮助部署者根据其应用的具体需求选择合适的压缩方法，并为算法设计者提供诊断信号以改进压缩技术。
-
新的Aegis技术增强了医学人工智能联邦学习的隐私性
研究人员开发了一种名为Aegis的新型隐私保护技术，用于医学人工智能中的联邦学习。该方法旨在通过在训练过程中掩盖梯度来保护敏感的患者数据，防止模型反演攻击。Aegis通过将合成梯度叠加到真实更新之上来实现这一点，有效地增加了超出已知攻击能力范围的批次大小，同时不损害诊断准确性或改变联邦学习协议。在MNIST、CIFAR-10和MedMNIST等数据集上的评估表明，Aegis在保持模型效用的同时，能有效中和最先进的攻击。
-
新的Q-聚合方法协调了通用和统一的学习率
一篇新的研究论文介绍了一种名为“Q-聚合”的方法，该方法旨在协调回归分析中的通用和统一学习框架。研究表明，Q-聚合可以实现有限假设类的 minimax 最优尾部和指数通用率。然而，对于可数无限假设类，研究表明在这两种类型的速率之间存在固有的权衡，而 Q-聚合有助于精确地追踪这种权衡。
-
研究基准测试小型语言模型的可靠性：量化优于剪枝
一篇新的研究论文探讨了小型语言模型（SLMs）的可靠性，通过比较预训练模型和压缩模型。研究发现，在保持可靠性方面，量化比网络剪枝更有效，包括公平性、鲁棒性、隐私和道德等方面。通过量化压缩可靠的大型语言模型（LLMs）可以得到比从头开始训练的SLMs更具可靠性和适应性的SLMs。此外，从可靠的教师模型进行知识蒸馏可以进一步提高SLMs的可靠性。
-
AI模型通过量化和剪枝实现小型化以提高效率
量化和剪枝是用于减小大型AI模型（如ChatGPT和Midjourney）的规模和计算需求的技朧。这些方法降低了表示模型权重的数字的精度，将它们从32位浮点格式转换为较低精度的格式，如16位浮点、8位整数（INT8），甚至4位整数（INT4）。此过程显著减少了内存使用并加快了推理速度，使得在包括边缘设备在内的性能较低的硬件上部署这些模型成为可能，同时还降低了运营成本和能耗。
-
综述梳理动态神经网络在计算机视觉和传感器融合领域的应用
本综述论文全面概述了动态神经网络（DNNs），重点关注其在计算机视觉和多模态传感器融合中的应用。它解释了DNNs如何根据输入复杂性调整计算级别，与静态优化方法不同，从而解决了在嵌入式设备上部署大型模型所面临的挑战。该论文根据DNNs的自适应组件——输出、计算图或输入——对其进行分类，并强调了它们在传感器融合任务中的潜在优势，如提高自适应性和降低噪声。