ImageNet-100
PulseAugur coverage of ImageNet-100 — every cluster mentioning ImageNet-100 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
SWAM框架通过显著性加权合并提升视觉Transformer效率
研究人员开发了SWAM(显著性加权非对称合并),一个旨在提高视觉Transformer(ViTs)效率的新框架。SWAM通过在处理过程中减少Token数量来解决ViTs的计算成本问题。该方法结合了显著性感知机制,使用余弦相似度和显著性惩罚来选择Token,并通过非对称聚合优先处理更显著的Token。SWAM使用DeiT-Small骨干网络进行端到端训练,在CIFAR-100、TinyImageNet和ImageNet-100等各种图像…
-
ScoreCLR方法改进对比表示学习
研究人员推出了一种新的对比表示学习方法ScoreCLR,该方法解决了数据样本之间估计排斥力方面的挑战。该技术利用去噪分数匹配来学习潜在表示的分数,从而无需大批量大小和显式负样本。与SimCLR相比,ScoreCLR在CIFAR-10和ImageNet-100等数据集上实现了具有竞争力的线性探测准确率,同时产生的投影仪输出具有更高的有效秩。
-
研究人员发现架构搜索方法在高压缩率下失效
研究人员在用于架构搜索的块蒸馏方法中发现了一个关键限制,尤其是在DeiT-S和DeiT-B等模型中。这些方法对单个替换块进行加性评分,当压缩率达到原始块延迟预算的55-40%时,这些方法开始显著失效。研究表明,这种失效主要归因于KL加性误差的度量和功能组成部分,其影响因模型架构而异。提出的混合搜索方法通过logit-sum预测器对移动进行排序,并且仅测量最佳候选者,为现有的二次规划方法提供了一种更有效且通常更优越的替代方案。
-
混合VGG/ViT模型在频率域分类中展现出潜力
一篇新的研究论文探讨了图像分类模型在频率域与空间域相比的有效性。研究发现,虽然两个域包含相同的信息,但由于缺乏局部特征,在频率域训练的模型通常表现不佳。通过证明即使在局部频率数据被替换时,频率域的准确性也相对稳定,该研究提出了一种结合频率域和空间域训练的混合模型,以实现更高的分类准确性。该混合方法使用VGG和ViT架构在包括ImageNet-100和WikiArt在内的各种数据集上进行了测试。
-
新定理证明 AI 模型学习相同的世界表征
研究人员正式证明了柏拉图式表征假设 (PRH),该假设表明,在不同数据模态上训练的 AI 模型在规模扩大时会收敛到相同的世界表征。该研究引入了联合嵌入预测架构 (JEPAs) 作为实现这一目标的方法,证明了在各种模态上单独训练的 JEPAs 可以学习到相同的表征(在旋转变换下),前提是它们的正样本对是同一场景的观察结果。研究还强调,在语言模型中常用的下一个词预测,是获得这些柏拉图式表征的低效途径,需要显著更多的数据才能与视觉编码器实现可比的对齐。
-
研究发现,AI 模型与高质量数据视图的对齐效果优于单纯的规模扩展
研究人员证明了柏拉图式表征假设,该假设认为在不同模态上训练的 AI 模型会随着规模的扩大而收敛到相似的世界表征。他们的工作引入了联合嵌入预测架构(JEPAs),这是一种比传统的下一个词预测更有效地实现这种对齐的方法。研究表明,当使用“良好视图”(单个场景的对齐观测)进行训练时,JEPAs 可以学习到相同(相差一个旋转)的表征,而使用对齐性较低的数据进行下一个词预测则需要显著更大的规模。这一发现表明,训练数据视图的质量,而不仅仅是规模,…
-
新的ExGrad方法增强了AI模型的对抗性训练
研究人员推出了一种新颖的对抗性训练方法ExGrad,旨在通过显式减去干净梯度分量来提高模型的鲁棒性。该技术从干净输入、对抗性输入和对抗性权重扰动输入构建梯度,然后利用这些梯度解决一个问题,以选择系数来优化裕度响应。在CIFAR-10、CIFAR-100和ImageNet-100等数据集上的实验表明,ExGrad可以比AWP和PGD-AT等现有方法提高干净和对抗性准确率,其性能取决于可调的“仿射半径”参数。
-
新论文发现AI训练数据的价值取决于学习者
一项新的研究论文探讨了训练数据样本的价值并非绝对,而是取决于所使用的特定机器学习模型。实验表明,改变模型的架构,例如增加其宽度或改变其输入处理方式,可以显著改变哪些数据样本被认为对训练最有价值。这表明数据选择策略必须针对目标学习者进行定制,而不是依赖于通用规则。
-
新方法增强深度神经网络插值鲁棒性
研究人员引入了Sharp Mode Connectivity (SMC),一种用于优化深度神经网络权重空间中参数曲线的新方法。与仅确保沿轨迹低损失的标准模式连通性不同,SMC还强制要求邻近区域的低损失,从而使插值模型对分布变化更加鲁棒。该方法在ResNet-18和ViT-Tiny等模型以及CIFAR-10和ImageNet-100等数据集上得到了验证,显示出显著的准确性提升,尤其是在CIFAR-10-C等损坏情况下,甚至产生了负损失障碍。
-
新的多出口TinyML方案提高了边缘AI效率
研究人员为边缘设备的TinyML系统开发了一种新颖的多出口计算方案,旨在提高能效和实时性能。该方法部署在GWT GAP9片上系统中,根据输入复杂度动态调整推理,与标准的固定深度模型相比,计算成本降低了41%,推理时间缩短了29%。该系统在准确性仅有微小损失的情况下实现了这些提升,在计算效率方面优于现有的自适应CNN。
-
新训练方法促进神经网络中专业化模块的出现
研究人员开发了一种新的训练方法,该方法能促进深度神经网络中专业化模块的出现。该方法在保持基线准确率的同时,将输入稀疏地路由到神经元组,从而促进专业化,使模块能够响应特定的输入类别,如“狗”或“车辆”。该研究在 ImageNet-100 和 CIFAR-100 数据集上进行了评估,表明竞争动态可以在标准的神经网络架构中自然地诱导功能模块化,甚至根据模块数量揭示分层的任务划分。
-
新的sLoTh框架为稀疏视觉Transformer实现节能的持续学习
研究人员推出了一种新颖的框架sLoTh,专为稀疏事件驱动型视觉Transformer的参数高效持续学习而设计。该方法冻结模型骨干,并将可塑性集中在低秩注意力更新和神经元阈值调制上,仅需更新不到1%的参数。在CIFAR-100和ImageNet变体等各种数据集上的实验表明,在无需重放缓冲区的情况下,在类别增量和在线持续学习场景中均取得了有竞争力的性能。值得注意的是,与传统的密集视觉Transformer相比,sLoTh实现了约6.5倍的低能耗。
-
CloSeR框架增强AI模型中的类别发现能力
研究人员推出CloSeR,一个旨在改进广义类别发现(GCD)的新型框架。GCD旨在识别已知类别,同时也能从无标签数据中发现新的、连贯的类别。CloSeR采用两步流程:首先,它使用轻量级适配器训练一个闭集教师模型,以保留预训练知识;然后,它使用统一关系蒸馏(URD)将这些知识迁移到GCD任务中。该方法在与DINO和DINOv2骨干网络集成时,在各种基准测试中均展现了最先进的性能。
-
新型后门攻击利用视觉 MoE 容量溢出
研究人员发现了一种针对视觉 Transformer 的混合专家(MoE)架构的新漏洞,称为“容量溢出”。该漏洞源于用于管理专家处理预算的依赖于批次的 token 分派机制。所提出的攻击通过在早期 MoE 层注入后门,并在更深的层注入中和器来利用这一点,而中和器在部署规模的批次大小下会被 token 溢出禁用。实验表明,该攻击在规避现有安全审计的同时,成功率很高。
-
Robust CurveMoE 增强神经网络的对抗性防御能力
研究人员开发了 Robust CurveMoE,一个新颖的混合专家框架,旨在增强神经网络的对抗性防御能力。该方法通过低损耗路径连接针对不同扰动范数进行专门化的模型,使它们能够利用互补的鲁棒性特征。该框架有效地从特定的曲线位置导出专家模型,并选择性地将其应用于有影响力的层,同时在路由路径之间共享参数。在 CIFAR-100 和 ImageNet-100 数据集上的实验表明,与现有方法相比,Robust CurveMoE 在干净精度、范数…
-
Robust CurveMoE 增强了混合专家模型的对抗防御能力
研究人员开发了 Robust CurveMoE,一个旨在增强混合专家(MoE)模型对抗防御能力的新框架。该方法通过识别低损耗路径,有效地连接了针对不同范数约束专业化的专家模型,从而缓解了通常在竞争性鲁棒性目标中出现的权衡。该方法选择性地专业化有影响力的层,并采用基于贡献的部分更新技术来降低训练成本,在 CIFAR-100 和 ImageNet-100 数据集上的各种架构中均显示出准确性提高。
-
CloSeR框架通过蒸馏闭集教师模型的知识来增强类别发现能力
研究人员推出了一种名为CloSeR的新型框架,旨在通过利用闭集教师模型的知识来改进广义类别发现(GCD)。该方法解决了当前GCD方法中联合训练可能导致目标冲突和预测偏差的问题。CloSeR采用两阶段过程:首先,训练一个轻量级的、经过领域适应的闭集教师模型;然后,使用统一关系蒸馏(URD)将该教师模型的知识蒸馏到下游GCD任务中。这种方法在多个基准测试中展示了持续的性能提升,并取得了最先进的成果。
-
研究Vision Transformer注意力转移,鲁棒性差距与训练成熟度相关
一篇新发表在arXiv上的研究论文探讨了Vision Transformer(ViTs)中注意力机制的转移。研究人员发现,虽然经过训练以模仿教师模型的注意力图的ViTs在分布内准确率方面表现很高,但在分布偏移下表现不佳。研究表明,注意力转移几乎是完美的且永久的,但观察到的鲁棒性差距在很大程度上是训练成熟度的产物,当训练计划完成后会消失。研究结果表明,在这种情况下,注意力图揭示的是模型“看”哪里,而不是模型“知道”什么。
-
新基准使用多模态大语言模型(MLLM)委员会评估 AI 模型解释
研究人员开发了 CBX-Bench,这是一个旨在量化评估概念瓶颈模型(CBMs)生成解释质量的新基准。该基准利用一个多模态大语言模型(MLLM)委员会对解释质量进行评分,该评分已通过人类偏好进行了验证。该系统旨在提供一种可扩展且与人类对齐的方法,以超越传统的分类准确性来评估 CBM 的可解释性。
-
新的PWLR方法增强了图像分类器中的分布外检测能力
研究人员开发了一种名为成对见证局部拒绝(PWLR)的新方法,以改进图像分类器中的分布外(OOD)检测。该技术利用多模态大语言模型(MLLMs)来识别区分相似类别的局部视觉线索。PWLR使用分布内数据过滤这些线索以确保可靠性,然后在推理过程中将此局部证据与全局类别分数相结合。在ImageNet-100上的实验表明,PWLR显著增强了现有视觉语言检测基线的性能。