ImageNet-100
PulseAugur coverage of ImageNet-100 — every cluster mentioning ImageNet-100 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新论文发现AI训练数据的价值取决于学习者
一项新的研究论文探讨了训练数据样本的价值并非绝对，而是取决于所使用的特定机器学习模型。实验表明，改变模型的架构，例如增加其宽度或改变其输入处理方式，可以显著改变哪些数据样本被认为对训练最有价值。这表明数据选择策略必须针对目标学习者进行定制，而不是依赖于通用规则。
-
新方法增强深度神经网络插值鲁棒性
研究人员引入了Sharp Mode Connectivity (SMC)，一种用于优化深度神经网络权重空间中参数曲线的新方法。与仅确保沿轨迹低损失的标准模式连通性不同，SMC还强制要求邻近区域的低损失，从而使插值模型对分布变化更加鲁棒。该方法在ResNet-18和ViT-Tiny等模型以及CIFAR-10和ImageNet-100等数据集上得到了验证，显示出显著的准确性提升，尤其是在CIFAR-10-C等损坏情况下，甚至产生了负损失障碍。
-
新的多出口TinyML方案提高了边缘AI效率
研究人员为边缘设备的TinyML系统开发了一种新颖的多出口计算方案，旨在提高能效和实时性能。该方法部署在GWT GAP9片上系统中，根据输入复杂度动态调整推理，与标准的固定深度模型相比，计算成本降低了41%，推理时间缩短了29%。该系统在准确性仅有微小损失的情况下实现了这些提升，在计算效率方面优于现有的自适应CNN。
-
新训练方法促进神经网络中专业化模块的出现
研究人员开发了一种新的训练方法，该方法能促进深度神经网络中专业化模块的出现。该方法在保持基线准确率的同时，将输入稀疏地路由到神经元组，从而促进专业化，使模块能够响应特定的输入类别，如“狗”或“车辆”。该研究在 ImageNet-100 和 CIFAR-100 数据集上进行了评估，表明竞争动态可以在标准的神经网络架构中自然地诱导功能模块化，甚至根据模块数量揭示分层的任务划分。
-
新的sLoTh框架为稀疏视觉Transformer实现节能的持续学习
研究人员推出了一种新颖的框架sLoTh，专为稀疏事件驱动型视觉Transformer的参数高效持续学习而设计。该方法冻结模型骨干，并将可塑性集中在低秩注意力更新和神经元阈值调制上，仅需更新不到1%的参数。在CIFAR-100和ImageNet变体等各种数据集上的实验表明，在无需重放缓冲区的情况下，在类别增量和在线持续学习场景中均取得了有竞争力的性能。值得注意的是，与传统的密集视觉Transformer相比，sLoTh实现了约6.5倍的低能耗。
-
CloSeR框架增强AI模型中的类别发现能力
研究人员推出CloSeR，一个旨在改进广义类别发现（GCD）的新型框架。GCD旨在识别已知类别，同时也能从无标签数据中发现新的、连贯的类别。CloSeR采用两步流程：首先，它使用轻量级适配器训练一个闭集教师模型，以保留预训练知识；然后，它使用统一关系蒸馏（URD）将这些知识迁移到GCD任务中。该方法在与DINO和DINOv2骨干网络集成时，在各种基准测试中均展现了最先进的性能。
-
新型后门攻击利用视觉 MoE 容量溢出
研究人员发现了一种针对视觉 Transformer 的混合专家（MoE）架构的新漏洞，称为“容量溢出”。该漏洞源于用于管理专家处理预算的依赖于批次的 token 分派机制。所提出的攻击通过在早期 MoE 层注入后门，并在更深的层注入中和器来利用这一点，而中和器在部署规模的批次大小下会被 token 溢出禁用。实验表明，该攻击在规避现有安全审计的同时，成功率很高。
-
Robust CurveMoE 增强神经网络的对抗性防御能力
研究人员开发了 Robust CurveMoE，一个新颖的混合专家框架，旨在增强神经网络的对抗性防御能力。该方法通过低损耗路径连接针对不同扰动范数进行专门化的模型，使它们能够利用互补的鲁棒性特征。该框架有效地从特定的曲线位置导出专家模型，并选择性地将其应用于有影响力的层，同时在路由路径之间共享参数。在 CIFAR-100 和 ImageNet-100 数据集上的实验表明，与现有方法相比，Robust CurveMoE 在干净精度、范数…
-
Robust CurveMoE 增强了混合专家模型的对抗防御能力
研究人员开发了 Robust CurveMoE，一个旨在增强混合专家（MoE）模型对抗防御能力的新框架。该方法通过识别低损耗路径，有效地连接了针对不同范数约束专业化的专家模型，从而缓解了通常在竞争性鲁棒性目标中出现的权衡。该方法选择性地专业化有影响力的层，并采用基于贡献的部分更新技术来降低训练成本，在 CIFAR-100 和 ImageNet-100 数据集上的各种架构中均显示出准确性提高。
-
CloSeR框架通过蒸馏闭集教师模型的知识来增强类别发现能力
研究人员推出了一种名为CloSeR的新型框架，旨在通过利用闭集教师模型的知识来改进广义类别发现（GCD）。该方法解决了当前GCD方法中联合训练可能导致目标冲突和预测偏差的问题。CloSeR采用两阶段过程：首先，训练一个轻量级的、经过领域适应的闭集教师模型；然后，使用统一关系蒸馏（URD）将该教师模型的知识蒸馏到下游GCD任务中。这种方法在多个基准测试中展示了持续的性能提升，并取得了最先进的成果。
-
研究Vision Transformer注意力转移，鲁棒性差距与训练成熟度相关
一篇新发表在arXiv上的研究论文探讨了Vision Transformer（ViTs）中注意力机制的转移。研究人员发现，虽然经过训练以模仿教师模型的注意力图的ViTs在分布内准确率方面表现很高，但在分布偏移下表现不佳。研究表明，注意力转移几乎是完美的且永久的，但观察到的鲁棒性差距在很大程度上是训练成熟度的产物，当训练计划完成后会消失。研究结果表明，在这种情况下，注意力图揭示的是模型“看”哪里，而不是模型“知道”什么。
-
新基准使用多模态大语言模型（MLLM）委员会评估 AI 模型解释
研究人员开发了 CBX-Bench，这是一个旨在量化评估概念瓶颈模型（CBMs）生成解释质量的新基准。该基准利用一个多模态大语言模型（MLLM）委员会对解释质量进行评分，该评分已通过人类偏好进行了验证。该系统旨在提供一种可扩展且与人类对齐的方法，以超越传统的分类准确性来评估 CBM 的可解释性。
-
新的PWLR方法增强了图像分类器中的分布外检测能力
研究人员开发了一种名为成对见证局部拒绝（PWLR）的新方法，以改进图像分类器中的分布外（OOD）检测。该技术利用多模态大语言模型（MLLMs）来识别区分相似类别的局部视觉线索。PWLR使用分布内数据过滤这些线索以确保可靠性，然后在推理过程中将此局部证据与全局类别分数相结合。在ImageNet-100上的实验表明，PWLR显著增强了现有视觉语言检测基线的性能。
-
新的PWLR方法利用LLM生成的线索增强图像分类器的OOD检测能力
研究人员开发了一种名为成对见证局部拒绝（PWLR）的新方法，以改进图像分类器中的分布外（OOD）检测。PWLR利用多模态大型语言模型（MLLM）来识别区分相似类别的局部视觉线索。然后使用分布内数据验证这些线索以确保其可靠性。在推理时，PWLR将全局类别分数与这种成对局部证据相结合，以更准确地识别OOD样本，并在各种基准测试中显示出持续的改进。
-
新的蒸馏方法教会AI模型避免捷径
研究人员开发了一种名为反捷径蒸馏（ASD）的新知识蒸馏技术。该方法使用早期教师模型作为负参考，引导学生模型避免学习捷径。ASD包含两个损失：时间对比损失和捷径抑制损失，后者会惩罚学生模型在已识别捷径方向上的投影。在CIFAR-100、ImageNet-100和TinyImageNet上的实验表明，ASD在干净准确性和鲁棒性方面优于标准知识蒸馏，尤其是在跨架构场景中。
-
新的TESLA激活函数改进了神经网络奇偶校验问题求解能力
研究人员推出了一种新颖的激活函数TESLA，旨在提高神经网络在处理二元向量和奇偶校验问题上的性能。TESLA利用正弦和余弦项的可学习组合来控制多项式次数并放大高阶分量，理论上可以塑造训练动态以更好地强调结构。实证表明，TESLA在有限数据奇偶校验问题上表现出强大的泛化能力，并对标签噪声具有鲁棒性，同时在ImageNet-100数据集上也显示出可比的性能。
-
新框架解决自适应数据清理方法中的偏差问题
开发了一个新的评估框架，以解决自适应数据清理方法中的混淆偏差。这些方法使用数据驱动的分区而不是手动阈值，可以通过改变移除样本的数量来隐式改变性能指标。所提出的框架使用匹配预算和匹配召回率的对照，以及像AUROC和AUPRC这样的独立于阈值的指标，以确保性能提升反映了真实的腐败区分能力，而不是移除预算的变化。在CIFAR-10和ImageNet-100上的实验表明，在匹配操作点后，许多在朴素评估中观察到的性能差异减小或消失了。
-
新的对抗性净化方法增强了深度神经网络的鲁棒性
研究人员开发了一种名为基于一致性模型的对抗性净化（CMAP）的新方法，用于防御深度神经网络免受对抗性攻击。CMAP通过优化预训练一致性模型潜在空间内的向量，从受扰动的样本中恢复干净数据。该方法结合了感知一致性恢复机制、潜在分布一致性约束和潜在向量一致性预测方案，以增强鲁棒性并保持数据完整性。在CIFAR-10和ImageNet-100数据集上的实验表明，CMAP在提高对强对抗性攻击的鲁棒性方面是有效的，同时保持了高自然准确率。
-
新的CIFNet框架以解析方式解决了类别增量学习问题
研究人员开发了CIFNet，一个新颖的类别增量学习（CIL）框架，它绕过了传统的基于梯度的优化。通过将CIL视为一系列确定性的、闭式解的分类器适应过程，CIFNet在实现与现有方法相当的准确率的同时，显著降低了计算成本和能耗。该框架使用正则化递归最小二乘法（RRLS）来解析地更新分类器权重，并包含一个轻量级的校准缓冲区，以确保决策边界的平衡，而无需存储原始图像或执行梯度更新。
-
新的AI归因方法以最小的准确率损失提高了稳健性
研究人员开发了一个新框架，以提高AI模型归因方法的忠实度和一致性，尤其是在几何变换下。这种无需标注的方法使用子模搜索来识别驱动模型预测的证据，并引入子模排序损失来对齐跨变换输入的这些选择。在ImageNet数据集上的实验表明，对于ViT、ResNet-50和ConvNeXt-B等架构，在模型准确率影响极小的情况下，归因稳定性和稳健性得到了显著改善。