knowledge distillation
PulseAugur coverage of knowledge distillation — every cluster mentioning knowledge distillation across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
贝叶斯教师提升AI模型蒸馏的准确性和稳定性
一篇新的研究论文通过贝叶斯视角探讨了知识蒸馏（KD），并分析了学生模型在随机梯度下降（SGD）下的收敛性。研究表明，与确定性教师相比，使用贝叶斯深度学习模型作为教师可以将准确率提高高达4.27%，并将收敛噪声降低高达30%。这些发现表明，贝叶斯教师能提供更好的贝叶斯类别概率（BCPs）估计，从而增强学生模型的泛化能力和稳定性。
-
Anthropic的J-Space研究可能彻底改变AI模型优化
一位Reddit用户正在探讨Anthropic最近发表的关于“J空间”的论文及其对AI模型优化技术的潜在影响。该用户推测，理解早期层中向量变化如何影响最终输出，可能导致更有效的剪枝和合并方法，从而可能保留模型的推理能力。此外，这一概念可能增强知识蒸馏，允许更有效地将推理能力从大型模型转移到小型模型，这将使本地AI社区受益。
-
Few-Medoids 方法简化了知识蒸馏的共核选择
研究人员推出了一种新颖且简单的方法 Few-Medoids，用于少样本知识蒸馏中的共核选择。该技术通过选择最接近每个类别质心的样本来识别代表性数据子集。在各种图像分类任务和模型架构上的实验表明，Few-Medoids 的性能始终优于随机选择和其他共核选择策略。
-
新方法增强多模态工业异常检测 · 已追踪2个来源
研究人员开发了两种不同的方法来改进多模态工业异常检测。第一种方法，调谐反向蒸馏（TRD），利用多分支设计和跨模态调谐器来增强正常特征的学习，同时有效检测不同模态的异常。第二种方法，全球逻辑与局部搜索（GLLS），是一个无训练框架，利用大型多模态模型和蒙特卡洛树搜索进行可验证的异常检测，在推理上下文中组织参考和规范。这两种方法都旨在推进工业环境中识别缺陷的最新技术水平。
-
新基准和蒸馏方法推动多模态大语言模型理解能力提升
研究人员开发了改进多模态大语言模型（MLLMs）的新方法。其中一种方法，Token级响应-视觉注意力引导（TRAG），侧重于蒸馏响应到视觉的注意力信号，而非提示到视觉的信号，并使用特定于token的目标来更好地模仿教师模型的视觉焦点。另外，引入了一个名为VKnowU的新基准，用于评估MLLMs的视觉知识理解能力，该基准超越了对象识别，评估了对物理和社会原理的理解。在VKnowU上的评估显示，当前领先的MLLMs在理解世界中心知识方面仍…
-
新的知识蒸馏框架针对表示等价类
研究人员引入了一个新的知识蒸馏框架，该框架侧重于匹配表示的等价类，而不是精确的特征。该方法认为，学生模型应该学习教师的表示等价类，该等价类对正交和各向同性缩放是不变的，以有效地捕捉教师的能力。该框架通过将其纳入几何解释来统一各种蒸馏技术，包括特征匹配、关系蒸馏和对齐。使用Qwen2.5和Llama-3.1模型进行的实验证明了该方法的有效性，表明虽然它可以恢复损坏模型的表示，但不一定能恢复其能力。
-
Federated learning and knowledge distillation benchmarked for 3D point cloud classification
一篇新的研究论文对联邦学习（FL）和知识蒸馏（KD）在3D点云分类中的联合使用进行了基准测试，特别是在隐私敏感和资源受限的环境中。研究表明，虽然在非独立同分布（non-IID）标签偏斜下，单独的FL性能会显著下降，但KD可以有效地压缩模型。然而，评估中发现了一个关键的陷阱，即使用代理分割上的硬标签进行蒸馏可能会掩盖联邦教师性能不佳的情况。研究人员建议使用无标签蒸馏方法，以确保报告的准确性真正反映联邦模型的质量。
-
新方法简化了视觉量子强化学习
研究人员开发了一种分阶段的知识蒸馏策略来改进视觉量子强化学习（QRL）。该方法首先训练一个经典的视觉模型，然后利用其编码器来指导训练更小、与量子兼容的学生模型。这种方法简化了复杂视觉环境的训练过程，使得浅层变分量子电路能够在没有像素端到端直接训练的情况下实现显著的控制行为。
-
模型蒸馏攻击构成日益增长的 AI 安全威胁
模型蒸馏攻击，即小型模型从大型模型输出中学习，构成了一种未被充分认识到的 AI 系统安全威胁。这些攻击可以绕过安全对齐，导致模型生成有害内容，尽管其“教师”模型有安全防护措施。此外，蒸馏还可以通过使攻击者能够以更低的成本复制高性能模型来促进知识产权盗窃，并且可以通过发布看似无害但随后被恶意更新的蒸馏模型来污染 AI 供应链。resk-logits 和 reskSecure 等运行时安全工具通过在 logits 层面过滤危险 token…
-
新的KD方法将HPC训练速度提升67% · 跟踪2个来源
研究人员开发了一种新的知识蒸馏（KD）方法，该方法优化了高性能计算（HPC）系统上师生模型的划分。与TRL库中的对称处理不同，该方法解耦了划分过程，利用了模型之间内存占用和通信需求的差异。新方法通过避免冗余数据结构和选择最优划分策略，实现了高达67%的每秒样本数，显著加快了在生产HPC集群上的训练速度。
-
新框架利用图像合成解决跨域宫颈细胞检测问题
研究人员开发了一种新颖的两阶段框架，以改进跨域宫颈细胞检测。第一阶段利用空间连续无配对神经薛定谔桥（SC-UNSB）创建合成中间域，通过熵正则化最优传输过程减轻分布偏移。第二阶段在知识蒸馏中采用双层特征对齐策略，对齐结构和语义表示，促进知识从源模型到目标模型的迁移。该方法有效降低了域偏移和类别模糊性，提高了跨域检测性能。
-
新的 IF-Beta 框架通过数据剪枝简化知识蒸馏
研究人员开发了 IF-Beta，一个利用可学习数据剪枝的高效知识蒸馏新框架。该方法结合了影响函数和 Beta 分布参数化采样策略，以识别和选择对蒸馏最有影响的数据子集。IF-Beta 旨在通过使学生模型能够使用更少的数据和计算进行训练，同时在蒸馏全数据集时仍能取得优于现有方法的性能，从而降低知识蒸馏的计算开销。
-
知识蒸馏在低数据LLM训练中优于SFT
一篇新论文探讨了用于训练后大型语言模型（LLM）的知识蒸馏（KD），发现它在低数据场景下优于监督微调（SFT）。随着可用数据的增多，KD的有效性会降低，但从更强的教师模型进行蒸馏可以恢复收益。研究人员还提出了一种针对领域特定、低资源环境的两阶段KD策略，该策略可提高学生模型的性能。
-
Hugging Face论文揭示LLM中的“潜移学习”，影响可审计性
Hugging Face的一篇新论文探讨了语言模型中“潜移学习”的概念，即学生模型可以通过不明确命名这些特征的蒸馏数据从教师模型继承隐藏特征。研究确定“通道位置”是决定在训练前是否可以审计这种转移的关键因素。研究发现，根据特征是在主体通道中还是依赖于词汇几何结构，存在不同的转移机制，这表明标准的预训练筛选并非总是能有效审计这些隐藏特征。研究结果表明，即使移除了特定的训练标签，相关的偏好仍然可以转移，这凸显了对细致审计策略的需求。
-
新的TALAS框架提高了语言模型蒸馏效率
研究人员推出了一种用于预训练语言模型知识蒸馏的新框架TALAS。TALAS将分层对齐与先进的优化技术同步，以提高效率和性能。该框架选择性地将最终句子嵌入蒸馏到学生模型的上层，并为下层使用自蒸馏，同时结合自适应感知最小化以增强泛化能力。
-
新的LEAP课程提高了Vision Transformer蒸馏的效率
牛津大学的研究人员推出了一种名为LEAP的新型训练课程，旨在提高Vision Transformer (ViT) 的知识蒸馏效率。LEAP采用渐进式方法，使用教师模型的中层特征作为学生模型越来越难的目标。该方法加速了收敛，并在ImageNet-100等数据集上显示出显著的准确性提升，ViT-S模型的准确率提高了+12.24%。此外，LEAP通过优化教师推理，将训练FLOPs减少了25.1%，训练时间减少了21%。
-
新的知识蒸馏方法提高了土地利用图像分类的准确性
研究人员开发了一种改进的知识蒸馏框架，用于压缩用于土地利用图像分类的深度卷积神经网络。该方法采用教师-学生学习范式，其中 VGG16 网络将知识转移到 MobileNetV2 模型。通过结合来自真实标签的硬监督和使用 Kullback-Leibler 散度和余弦相似度损失的软监督，该方法在土地利用数据集上实现了 99.04% 的准确率，优于基线方法，同时显著压缩了模型。
-
Mixup蒸馏提升学生模型准确性和校准性
研究人员探索了机器学习中的知识蒸馏（KD）和mixup技术之间的相互作用，特别是在mixup仅在学生模型训练期间应用时。他们发现这种设置导致教师模型在未见过的数据分布上被查询，从而使其监督信号侧重于分布混淆而非类间结构。尽管如此，与CIFAR和ImageNet数据集上的基线相比，学生模型独立地发展出更高的线性度，并将准确性和过度自信提高了两个数量级。
-
软提示蒸馏增强了设备端大模型的安全性
研究人员开发了一种新方法，可以使大型语言模型（LLM）在资源有限的设备上使用时更安全、更高效。该技术结合使用“软提示”和蒸馏技术，将安全行为从一个守护模型转移到主LLM。与其他的参数高效方法相比，这种方法显著改善了安全性和可用性的权衡，在推理过程中仅需要极少的额外内存和计算资源。
-
新研究通过理论和算法改进推动流匹配模型
研究人员为流匹配模型（一种生成模型）开发了新的理论基础和实用算法。其中一篇论文为神经网络参数化的条件速度场建立了收敛保证并提供了泛化界限。另一篇论文介绍了 Flow-DPPO，一种改进的强化学习方法，它用散度近邻约束取代了比例裁剪，以实现更稳定高效的训练。第三种方法 RLDT 使用具有密度传输的强化学习来微调流匹配策略以用于连续控制任务，其性能优于现有基线。