knowledge distillation
PulseAugur coverage of knowledge distillation — every cluster mentioning knowledge distillation across labs, papers, and developer communities, ranked by signal.
- uses large-language models 90%
- instance of On-Policy Distillation 90%
- used by large-language models 90%
- used by distilled AI model 90%
- developed large-language models 70%
- instance of CIFAR-100 70%
- instance of DagsHub 70%
- used by alphaXiv 70%
- used by Gotit.pub 70%
- used by supervised fine-tuning 70%
- developed by large-language models 70%
- used by CIFAR-100 70%
13 天有情绪数据
-
新型验证器模型增强了神经网络中对抗性攻击的检测能力
研究人员开发了一种新颖的方法,通过训练一个独立的验证器模型来检测人工智能神经网络上的对抗性攻击。该验证器学会识别区分合法输入和对抗性输入的神经网络中的模式或“激活签名”。通过利用这些签名在训练过程中生成具有挑战性的对抗性示例,验证器提高了检测攻击的能力,即使是它以前未见过的攻击,同时知识蒸馏有助于在干净数据上保持性能。该方法在针对 L-infinity 攻击的现有检测器方面表现出显著的改进,尽管其在 L2 攻击等不同扰动类型上的鲁棒性…
-
ICARE框架解决了跨域文本分类中的灾难性遗忘问题
研究人员开发了ICARE,一个旨在提高自然语言推理(NLI)系统性能的新框架,特别是在跨域文本分类方面。该框架解决了灾难性遗忘问题,即NLI系统在训练新任务时会丢失先前学到的知识。ICARE利用基于表示学习的实例选择模块来选择最优训练样本,并采用在特征和logit层面转移知识的知识蒸馏方法。在基准数据集上的评估表明,ICARE显著提高了目标准确性并减少了遗忘,使得NLI系统在不同任务中更具适应性和有效性。
-
新的角度条件蒸馏方法改进了机器学习中的知识迁移
研究人员推出了一种名为角度条件蒸馏(ACD)的新方法,以改进机器学习中的知识蒸馏。ACD通过使用角度坐标接口(ACI)在几何兼容的空间中重建学生分类器,从而解决分类器几何不匹配问题,抑制与架构相关的伪影。此外,尺度不变条件蒸馏(SICD)标准化输出,仅迁移条件非目标关系,过滤掉绝对置信度。实验表明,ACD达到了最先进的性能,并且可以无缝集成到现有的蒸馏流程中,而无需额外的推理成本。
-
Ambient SFT 将 LLM 微调效率提高了 21%
研究人员推出了一种名为 Ambient SFT 的新框架,旨在提高大型语言模型监督微调的效率。该方法通过使用预训练模型的冻结版本作为指导微调过程的教师,来应对收集广泛、高质量数据集的挑战。通过在特定温度下匹配条件分布,Ambient SFT 旨在防止过拟合和灾难性遗忘,在领域适应和推理等任务中,平均相对改进高达 21%,优于标准 SFT。
-
新论文强调分布差异中的数值问题
一篇新论文指出了近乎相等分布之间标准差异运算(包括 Kullback-Leibler (KL) 和 Jensen-Shannon 差异)中的数值问题。这些问题源于前向和梯度计算中的舍入和抵消误差,影响了知识蒸馏和强化学习等应用。作者提出了稳定的重构方法,并提供了经过验证的实现来解决这些数值挑战。
-
新型防御通过风格注入扰乱从LLM进行的知识蒸馏
研究人员开发了一种新的、轻量级的防御知识蒸馏(KD)的方法,该方法在恶意查询期间将风格引导向量注入到教师模型的激活中。此方法旨在误导试图从大型语言模型(LLM)克隆专有能力的对手,使其看起来好像他们正在提取原始输出。该技术在对合法用户保持语义效用和流畅性的同时,以可忽略的开销显著扰乱了学生模型的学习。
-
新模型解释知识蒸馏的优化速度优势
研究人员开发了数学模型以更好地理解知识蒸馏,这是一种用于机器学习的技术。他们的分析表明,蒸馏主要提高了模型优化的速度,而不是最终模型的泛化能力。在真实数据集上的实验支持了这些理论发现,表明蒸馏使训练过程更加高效。
-
小型语言模型通过教师蒸馏学习金融推理
研究人员探索了一种方法,通过利用一个更大的模型(8B参数)作为教师,来训练一个更小的语言模型(0.6B参数)进行金融推理。该过程包括监督微调、知识蒸馏(学生从教师的验证响应中学习)以及随后使用已识别的错误进行有针对性的微调阶段。这种方法是在有限的计算环境中实现的,旨在为特定任务(如金融问答)创建可适应的、专业化的紧凑型语言模型的方法。
-
新方法通过输入扰动提升语言模型蒸馏效果
研究人员开发了一种新方法,通过扰动教师模型的输入来改进语言模型的知识蒸馏。该技术通过向 token 添加噪声或混合文档,在预训练蒸馏中显示出显著的收益,准确率比标准蒸馏提高了高达 1.45 倍。改进后的学生模型在下游迁移任务中也表现更好,在七项任务的零样本准确率上提高了 1 个百分点。
-
门控知识蒸馏未能改善低资源孟加拉语生成
一篇新的研究论文探讨了用于低资源孟加拉语生成的门控知识蒸馏技术,发现这些方法并未显著优于标准的知识蒸馏或交叉熵微调。该研究在各种任务和模型规模上测试了两种门控机制(EWAD 和 CHAD),得出结论认为门控主要起到正则化器的作用,有助于防止在长时间训练期间性能下降。研究发现,无教师标签平滑在很大程度上弥合了与标准微调观察到的性能差距。
-
AI 推动量子纠错码设计与解码进展
研究人员开发了新颖的AI方法来改进量子纠错码的设计和解码。其中一种方法GFlowQEC利用生成流网络高效搜索和提出高分量子LDPC码,在寻找新的有效码方面显著优于传统方法。另一种方法引入了一个“解码器模型工厂”,它使用知识蒸馏来训练连续的解码模型,使其能够适应不同的码族、硬件和噪声条件,目标是实现可扩展、低延迟的量子解码器。
-
人工智能研究聚焦于使模型能够有意地遗忘信息
研究人员正在探索使人工智能系统能够有意地遗忘信息的方法,这种能力可以增强隐私和安全性。这对于持续学习的人工智能模型尤其重要,因为它们即使在应被丢弃时也能保留敏感数据。目前正在研究知识蒸馏和弹性权重巩固等技术,以使人工智能能够在不影响整体性能的情况下选择性地擦除特定记忆。
-
AWS 通过 Bedrock 和 SageMaker 的新工具增强机器学习能力
AWS 正在通过新的工具和技术增强其机器学习能力。该公司正在推出 Crawl4AI,以帮助为 Amazon Bedrock Knowledge Bases 准备网络内容。此外,AWS 还通过在 Amazon SageMaker AI 上进行知识蒸馏,实现了高效代理的开发。
-
History Forcing 增强了长视频生成的一致性
研究人员开发了一种名为 History Forcing 的新技术,以提高自回归视频生成模型的长程一致性。该方法使用历史上下文残差来校正蒸馏目标,帮助模型在延长的视频序列中保持连贯性。该方法在 1.3B 模型中展示了最先进的性能,在 VBench 和 VBench-Long 等基准测试中取得了高分,并在评估中显示出改进的场景演变和对象一致性。
-
转向向量显示出作为LLM训练信号的潜力
研究人员探索了将转向向量(SV)用作训练后大型语言模型(LLM)的训练信号。他们的框架研究了在监督学习(包括监督微调(SFT)和知识蒸馏)期间注入SV,以及在GRPO中用于强化学习的优势修复机制。在监督设置中,SV注入在特定任务上比标准的SFT和蒸馏表现出更高的性能,特别是从具有“思考模式”的教师模型进行蒸馏时,性能提升高达12%。对于强化学习,将正确性对比方向作为不正确回滚的优势修复,有助于恢复一个转移到数学基准的学习信号,并充当一…
-
通过信息论和蒸馏探索AI可靠性-安全性权衡
研究人员在AI系统的可靠性与安全性权衡方面建立了一个信息论界限,特别是在知识蒸馏过程中这种权衡的演变。他们开发了一个玻尔兹曼机模型,以推导出可靠性与安全性之间的精确关系,发现一个量化隐藏层判别能力的参数决定了权衡曲线。该研究还使用重整化群方法探索了多代蒸馏,揭示了预测能力损失与稳定传输之间转变的固定点结构和临界行为。
-
新arXiv论文探讨AI模型蒸馏的经济学
一篇来自arXiv的新论文探讨了生成式AI领域中模型蒸馏的经济学含义。该研究分析了小型公司如何利用来自大型、闭源模型的(数据)来以更低的成本训练自己的模型。研究调查了市场结果,包括用户盈余和现有公司的利润,并提出了诸如基于惩罚的监管等干预措施,以阻止蒸馏攻击。或者,现有公司可以采用自我蒸馏作为一种缓解策略,以维持市场竞争和用户盈余。
-
AI蒸馏技术为电池电解质模拟创建更快的MLIPs
研究人员开发了一种知识蒸馏技术,用于创建更快、更准确的机器学习原子间势能(MLIPs)来模拟液体电解质。这些从大型“教师”MLIPs蒸馏而来的“学生”模型运行速度大约是原来的40倍,同时保持了量子力学精度。这一进展使得更长的模拟时间成为可能,这对于预测离子电导率和粘度等传输性质至关重要,而这些性质对于设计下一代电池和筛选电解质至关重要。
-
新技术提高了压缩 Transformer 模型性能
研究人员开发了一种新颖的事后嵌入对齐技术,以提高压缩 Transformer 模型的性能。这种称为对齐适配器(AlAd)的方法使用一个小型前馈网络将压缩模型的 token 嵌入与参考模型的 token 嵌入对齐。AlAd 可以在压缩模型生成后进行训练,并在各种 token 级任务(如词性标注、命名实体识别和抽取式问答)中显示出性能提升,尤其有利于较小的压缩模型。
-
新的PCoreSet策略通过VLM知识蒸馏增强活动学习
研究人员推出了一种新颖的活动学习策略PCoreSet,该策略利用视觉语言模型(VLM)的知识蒸馏。这种称为ActiveKD的方法通过利用VLM的零样本和少样本能力,解决了活动学习中标记数据有限的挑战。PCoreSet侧重于根据概率预测选择多样化的未标记样本,而不是特征空间覆盖,以更有效地将知识从教师VLM转移到学生模型。评估表明,ActiveKD在各种数据集上显著提高了性能,PCoreSet持续优于随机选择和其他方法。