TinyImageNet
PulseAugur coverage of TinyImageNet — every cluster mentioning TinyImageNet across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Phase transition frequency predicts ResNet accuracy in training
研究人员发现了一种新的指标“相变频率”，可以预测ResNet模型在训练过程中的测试准确率。该指标统计离散的类别可分性跳跃次数，在CIFAR-10和CIFAR-100等标准基准测试中与准确率呈强负相关。然而，在分布偏移压力下，如在TinyImageNet和CIFAR-10-C基准测试中观察到的那样，这种预测能力会减弱。进一步分析表明，虽然相变频率是训练曲线信号中的一个强预测因子，但对于受压数据集，其他方法更有效。
-
新研究探索先进的机器学习遗忘技术 · 追踪4个来源
研究人员正在开发新的机器学习遗忘方法，即从AI模型中移除特定数据或知识的过程。一种名为源无关类别遗忘审计（SFRA）的方法，专注于在无法访问原始训练数据的情况下，利用合成探针和置信度过滤来恢复已遗忘类别的模型。另一种方法，CONfession-to-Forget-Set（CONFS），通过构建与模型对齐的遗忘集来解决大型语言模型（LLMs）中的遗忘集不对齐问题，以提高隐私性和可用性。此外，GRACE（梯度引导核心集选择）解决了从有限示…
-
新研究探索人工智能模型持续学习的先进技术 · 追踪8个来源
研究人员正在开发持续学习的新方法，旨在使人工智能模型能够在不忘记先前获得的知识的情况下学习新信息。一种方法，“具有自组织映射和合成重放的类增量持续学习”，利用自组织映射（SOMs）和合成数据生成在CIFAR-10和CIFAR-100等基准测试中取得有竞争力的性能。另一篇论文，“具有增长自组织映射和合成重放的无监督持续学习”，通过无监督方式使用增长SOMs（GSOMs）扩展了这一点，即使与监督方法相比也显示出强大的结果。此外，还提出了一…
-
新的蒸馏方法教会AI模型避免捷径
研究人员开发了一种名为反捷径蒸馏（ASD）的新知识蒸馏技术。该方法使用早期教师模型作为负参考，引导学生模型避免学习捷径。ASD包含两个损失：时间对比损失和捷径抑制损失，后者会惩罚学生模型在已识别捷径方向上的投影。在CIFAR-100、ImageNet-100和TinyImageNet上的实验表明，ASD在干净准确性和鲁棒性方面优于标准知识蒸馏，尤其是在跨架构场景中。
-
联邦学习中新发现标签粒度偏斜挑战
研究人员提出了联邦学习中的一个新挑战——标签粒度偏斜，即分层图像分类任务中的客户端提供不同详细程度的标签。为解决此问题，他们开发了一种方法，使用概率关系邻居分类器生成本地标签层级，并使用对不完全监督更具鲁棒性的条件softmax分类器。提出的分支解耦微调（BDFT）及其联邦版本FedBDFT在鲁棒性方面显示出显著改进，在CIFAR-100和ImageNet等数据集上，在严重偏斜情况下平均增益高达56.4%。
-
新方法提升视觉语言模型的对抗鲁棒性
研究人员开发了一种名为置信度感知加权（CAW）的新方法，以提高CLIP等视觉语言模型的对抗鲁棒性。CAW通过优先处理不确定的对抗性样本，解决了并非所有输入对漏洞的贡献都均等的问题。该方法使用置信度感知损失函数和特征对齐正则化技术，在不牺牲泛化能力的情况下提高干净和鲁棒精度。实验表明，CAW在强对抗攻击下优于现有的最先进方法，并且内存效率更高。
-
新的SPRKD方法增强了深度神经网络的知识蒸馏
研究人员开发了一种名为SPRKD的新知识蒸馏技术，该技术将该过程从简单的输出复制重新构建为使用教师模型作为优化曲率和领域知识的代理。SPRKD识别教师模型损失景观中的低损耗鞍点区域，并利用这些区域来指导学生模型的学习。该方法在准确性方面显示出显著的改进，在疟疾血涂片分类等任务上，其性能大幅优于现有方法，并在MNIST和CIFAR-100等标准基准测试中取得了相当或更好的结果。该技术还使得学生模型具有更平滑的下降特性和更强的噪声鲁棒性。
-
新研究解决多模态大语言模型的联邦持续学习问题 · 跟踪到2个来源
两篇新研究论文解决了多模态大语言模型（MLLMs）联邦持续学习中的挑战。第一篇论文介绍了FedCMM，一个通过实现模态感知弹性权重巩固、用于重放的合成数据生成以及任务相似性感知梯度聚合来对抗MLLMs灾难性遗忘的框架。第二篇论文提出了HERO，一个通过分离任务分割、客户端数据分割和客户端任务顺序来标准化联邦持续学习评估的基准库，旨在提高不同FCL方法之间的可比性和可复现性。
-
PERTINENCE 方法通过动态选择模型优化 DNN 效率
研究人员开发了 PERTINENCE，一种新颖的运行时方法，旨在优化深度神经网络 (DNN) 的计算效率。该技术根据输入复杂度从预训练模型集中动态选择最合适的模型，旨在降低计算成本和能耗，同时不显著影响准确性。在包括图像分类和基于 YOLO 的系统在内的各种数据集和应用上的评估表明，PERTINENCE 可以实现相当或更高的准确性，同时将操作减少高达 36%。
-
新框架改进了无样本类别增量学习
研究人员推出了一种新颖的无样本类别增量学习（EFCIL）方法——几何锚定传输框架。该框架将特征传输作为内在训练约束，而不是单独的后任务步骤，以在变化的特征空间中保持稳定的决策边界。它利用通过马氏距离对齐回归获得的解析几何锚点来解决各向异性漂移，并利用拓扑感知演化目标来正则化流形退化。在 CIFAR-100、TinyImageNet 和 ImageNet-100 上的实验表明，这种耦合方法在严格的无样本条件下比现有的事后方法提高了性能。
-
新框架通过进化客户端选择增强联邦学习
研究人员开发了一个名为 EvoCSFL 的新框架，以提高联邦学习的效率和鲁棒性。该方法使用由代理模型指导的进化算法来选择客户端，以优化模型性能、通信延迟和能耗。在多个数据集上的实验表明，与现有方法相比，EvoCSFL 实现了更快的收敛速度、更低的能耗和更好的鲁棒性。
-
Transformer 研究发现 QKV 投影共享可大幅减少内存使用
研究人员调查了 Transformer 模型中三个独立投影（查询、键和值）的必要性。他们的研究发现，共享投影，特别是 Q-K=V 变体，可以在对性能影响极小的情况下显著减少 KV 缓存内存使用。这种方法，特别是与分组查询注意力结合使用时，可提供可观的内存节省，可能支持更高效的设备端推理。
-
新研究解决深度神经网络中的对抗鲁棒性问题
几篇近期研究论文探讨了增强深度神经网络对抗鲁棒性的新方法。这些研究引入了诸如结合经验和认证防御的集成方法、噪声和双边滤波器的协同使用以及用于模拟对抗不确定性的贝叶斯框架等技术。此外，一篇论文提出了一个新的分类器，该分类器在判别能力和鲁棒性之间取得平衡，而另一篇则侧重于能够处理非加性扰动的对抗净化方法。
-
新的AI后门攻击通过针对数据密度来规避防御
研究人员开发了一种新的AI模型后门攻击方法，该方法对训练后防御（如微调和剪枝）具有更强的抵抗力。该技术涉及将触发样本策略性地放置在干净数据分布的低密度区域，从而优化攻击成功率和干净准确率的保持。与现有方法相比，该方法在攻击成功率和对抗防御能力方面表现出更高的性能，表明当前防御策略存在根本性差距。
-
TSFLora框架降低了边缘设备的AI模型适配成本
研究人员开发了TSFLora，一个旨在高效适配大型AI模型以用于无线边缘设备的新型框架。该方法通过压缩中间模型数据，解决了现有方法（如联邦微调和Split Learning）的局限性。TSFLora采用注意力引导的Token选择、合并和低比特量化等技术，在保持模型精度的同时，显著降低了通信开销和内存使用。
-
AI持续学习研究应对灾难性遗忘
研究人员正在探索AI持续学习的新方法，旨在克服“灾难性遗忘”的挑战，即模型在学习新技能时会丢失先前学到的信息。Google Research推出了“嵌套学习”，一种将模型视为相互关联的优化问题的范式，以缓解此问题。其他研究侧重于高效方法，如CIRCLE，它使用固定的存储库特征，以及用于LLM的SAE引导激活正则化，它在激活空间而非权重空间中运行。此外，正在开发新的指标来更好地表征遗忘，并提出了CoVON等新型优化器来平衡持续学习系统的…