network pruning
PulseAugur coverage of network pruning — every cluster mentioning network pruning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的Q-聚合方法协调了通用和统一的学习率
一篇新的研究论文介绍了一种名为“Q-聚合”的方法，该方法旨在协调回归分析中的通用和统一学习框架。研究表明，Q-聚合可以实现有限假设类的 minimax 最优尾部和指数通用率。然而，对于可数无限假设类，研究表明在这两种类型的速率之间存在固有的权衡，而 Q-聚合有助于精确地追踪这种权衡。
-
研究基准测试小型语言模型的可靠性：量化优于剪枝
一篇新的研究论文探讨了小型语言模型（SLMs）的可靠性，通过比较预训练模型和压缩模型。研究发现，在保持可靠性方面，量化比网络剪枝更有效，包括公平性、鲁棒性、隐私和道德等方面。通过量化压缩可靠的大型语言模型（LLMs）可以得到比从头开始训练的SLMs更具可靠性和适应性的SLMs。此外，从可靠的教师模型进行知识蒸馏可以进一步提高SLMs的可靠性。
-
AI模型通过量化和剪枝实现小型化以提高效率
量化和剪枝是用于减小大型AI模型（如ChatGPT和Midjourney）的规模和计算需求的技朧。这些方法降低了表示模型权重的数字的精度，将它们从32位浮点格式转换为较低精度的格式，如16位浮点、8位整数（INT8），甚至4位整数（INT4）。此过程显著减少了内存使用并加快了推理速度，使得在包括边缘设备在内的性能较低的硬件上部署这些模型成为可能，同时还降低了运营成本和能耗。
-
综述梳理动态神经网络在计算机视觉和传感器融合领域的应用
本综述论文全面概述了动态神经网络（DNNs），重点关注其在计算机视觉和多模态传感器融合中的应用。它解释了DNNs如何根据输入复杂性调整计算级别，与静态优化方法不同，从而解决了在嵌入式设备上部署大型模型所面临的挑战。该论文根据DNNs的自适应组件——输出、计算图或输入——对其进行分类，并强调了它们在传感器融合任务中的潜在优势，如提高自适应性和降低噪声。