ImageNet-100
PulseAugur coverage of ImageNet-100 — every cluster mentioning ImageNet-100 across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新方法优化边缘设备上的深度神经网络，在精度损失极小的情况下降低延迟
研究人员开发了一种新的方法，用于优化边缘设备的深度神经网络架构，重点在于满足严格的延迟约束同时保持高精度。该方法利用了面向延迟的学习技术和硬件定制的延迟预测器，实现了单次训练过程。实验表明，在NVIDIA Jetson平台上，GoogLeNet和VGG-19等模型的延迟显著降低，而精度损失极小甚至有所提高。
-
Fusion框架统一视觉Transformer适配以提高效率
研究人员开发了Fusion，一个旨在通过统一的顺序令牌适配技术来提高视觉Transformer（ViTs）效率的新型框架。该框架以分阶段的方式协调令牌合并、提前退出和令牌修剪，使这些机制能够协同工作而非竞争。Fusion还集成了轻量级路由模块，无需重新训练即可动态调整准确率-延迟权衡。在DeiT-S的ImageNet-1k上的实验表明，Fusion在计算预算方面匹配或超过了最先进的自适应ViT方法，同时显著降低了校准误差和推理能耗。
-
新的C-GCD方法使用虚拟类别改进无标签数据学习 · 跟踪2个来源
研究人员开发了一种新的持续广义类别发现（C-GCD）方法，称为虚拟类别引导的持续广义类别发现。该方法将虚拟类别学习（VCL）应用于从无标签数据中逐步识别新类别，同时保留已知类别的知识。它通过将模糊样本分配给临时的虚拟类别来解决模糊样本的挑战，从而避免了噪声标签并减轻了对熟悉类别的偏见。该方法通过扩展邻域对比学习（ENCL）得到进一步增强，以改进表示学习和类别分离。在CIFAR-100、Tiny ImageNet和ImageNet-10…
-
新的训练方法消除了 Vision Transformers 中的位置嵌入
研究人员开发了一种名为 Active Spatial Guidance (Guidance) 的新训练技术，消除了 Vision Transformers (ViTs) 中对显式位置嵌入的需求。通过在训练期间对最后一层 patch token 应用辅助的二维坐标回归损失，Guidance 直接从数据中诱导空间组织。该方法在 ImageNet-100 分类和 ADE20K 语义分割等任务上持续提高了性能，优于传统的注入式位置机制，如学习…
-
新框架改进了无样本类别增量学习
研究人员推出了一种新颖的无样本类别增量学习（EFCIL）方法——几何锚定传输框架。该框架将特征传输作为内在训练约束，而不是单独的后任务步骤，以在变化的特征空间中保持稳定的决策边界。它利用通过马氏距离对齐回归获得的解析几何锚点来解决各向异性漂移，并利用拓扑感知演化目标来正则化流形退化。在 CIFAR-100、TinyImageNet 和 ImageNet-100 上的实验表明，这种耦合方法在严格的无样本条件下比现有的事后方法提高了性能。
-
新的LEAP课程提高了Vision Transformer蒸馏的效率
牛津大学的研究人员推出了一种名为LEAP的新型训练课程，旨在提高Vision Transformer (ViT) 的知识蒸馏效率。LEAP采用渐进式方法，使用教师模型的中层特征作为学生模型越来越难的目标。该方法加速了收敛，并在ImageNet-100等数据集上显示出显著的准确性提升，ViT-S模型的准确率提高了+12.24%。此外，LEAP通过优化教师推理，将训练FLOPs减少了25.1%，训练时间减少了21%。
-
新框架探究 Vision Transformer 的几何结构和表征动态
研究人员引入了 Transformer Geometry Observatory (TGO) 框架，旨在探索 Vision Transformers (ViTs) 的表征几何结构。首个版本 TGO-I 专门研究 ViT 表征的光谱几何结构。在 ImageNet-100 上训练的 ViT-Small/16 模型实验表明，随着训练的进行，维度利用率增加，而各向异性降低。与预期相反，信息在表征维度之间重新分配，而不是集中在少数几个主导方向上…
-
新的 SimSiam 命名游戏推动了涌现通信的发展
研究人员推出了一种新颖的涌现通信框架 SimSiam 命名游戏 (SSNG)，它克服了 Metropolis-Hastings 命名游戏 (MHNG) 等先前方法样本效率低下的问题。SSNG 利用自主代理之间的自监督表示对齐目标，通过 Gumbel-Softmax 松弛实现离散符号消息的端到端梯度优化。在 CIFAR-10 和 ImageNet-100 数据集上的实验表明，与现有的参照和重构游戏以及 MHNG 相比，SSNG 的涌现消…
-
新研究通过新颖的检测和纠正方法解决 LLM 和 VLM 幻觉问题
研究人员正在开发新颖的方法来对抗大型语言模型 (LLM) 和视觉语言模型 (VLM) 中的幻觉。一种方法，循环注意力不确定性量化 (RAUQ)，利用注意力头行为来有效检测 LLM 中的事实不准确性，计算开销极小。对于 VLM，诸如检索增强的可靠性感知推理和注意力不平衡校正 (AIR) 等技术旨在通过将响应与外部证据联系起来并重新分配注意力权重来提高可信度。其他方法侧重于解开 VLM 解释中的语义泄漏，并使用反证据验证用于医疗应用，所有…
-
HydraCIL 为边缘设备提供高效的类增量学习
研究人员推出 HydraCIL，这是一种专为嵌入式系统等资源受限环境设计的类增量学习新方法。该方法将特征提取与分类器训练解耦，允许在不进行大量骨干网络重新训练的情况下创建轻量级、特定任务的分类器头。实验表明，HydraCIL 在显著降低训练时间和能耗的同时，实现了与最先进方法相当的性能。
-
新框架检测AI训练数据中的噪声标签
研究人员开发了一种新的自适应框架，用于检测用于训练深度神经网络的数据集中的噪声标签。该方法整合了局部、全局和学习动态线索，无需手动阈值或噪声水平的先验知识即可稳健地识别损坏的数据。在各种数据集上的实验表明，即使存在显著的标签噪声，召回率也很高，从而提高了模型准确性。
-
前向-前向学习在实际任务上表现不如反向传播
一篇新的研究论文对 Geoffrey Hinton 提出的层局部训练方法——前向-前向（FF）学习算法的可扩展性提出了质疑。该研究引入了一种新工具 DTG-FF，该工具在包括 ImageNet-100 在内的多个真实世界基准测试中为 FF 设定了新的最先进水平。然而，研究表明，在更大的数据集和更高的类别数量下，FF 的表现明显逊于标准的反向传播（BP），这表明存在实际性能上限。此外，该论文还驳斥了 FF 在规模化方面的内存效率论点，表…
-
新的JEPA架构实现从像素到端到端的稳定训练
研究人员开发了LeWorldModel (LeWM)，一种新颖的联合嵌入预测架构 (JEPA)，可以从原始像素稳定地进行端到端训练。与之前脆弱的JEPA方法不同，LeWM仅使用两个损失项，可以在数小时内使用单个GPU进行训练，其规划速度比基于基础模型的世界模型快48倍。随后的论文介绍了UR-JEPA，它通过目标统一可校正性来改进JEPA训练，与LeJEPA相比，显示出改进的种子稳定性和独特的几何表示。
-
新的贝叶斯方法增强了AI表征的可解释性
研究人员开发了BayesNCL，一种新颖的贝叶斯门控非负对比学习方法，旨在提高自监督表征的可解释性。该方法通过引入一个概率门控机制来过滤掉无关的共同特征并保留区分性语义，从而解决了潜在表征纠缠的问题。在Imagenet-100上的实验显示，语义一致性显著提高了142.1%，证明了该方法在不牺牲下游性能的情况下产生可解释结果的有效性。
-
研究探讨稀疏分配如何影响剪枝后神经网络的恢复能力
一篇新研究论文调查了神经网络中稀疏分配的分配方式如何影响其在剪枝后恢复精度的能力，尤其是在没有标记的重新训练数据的情况下。该研究比较了ERK和LAMP等不同的稀疏分配方法在各种数据集和架构上的表现，发现分配方式的选择显著影响剪枝后修复的精度。研究人员确定了一个关键的过渡区域，在此区域标准修复方法开始失效，这凸显了联合考虑剪枝分配和修复策略的必要性。
-
新的EIHF方法提升了视觉模型中的OOD检测能力
研究人员开发了一种名为早期高频注入（EIHF）的新方法，以改进计算机视觉模型中的分布外（OOD）检测。EIHF通过在输入数据被第一个卷积层处理之前注入高频信息来实现，而无需改变训练目标。这种方法通过重塑特征几何形状和减少分数重叠，增强了模型区分分布内和分布外数据的能力，尤其是在几何敏感的任务中。在CIFAR-100和ImageNet-100数据集上的实验显示了有希望的结果，包括假阳性率和受试者工作特征曲线下面积的提高。
-
HamJEPA通过哈密顿几何和辛预测推进JEPAs
研究人员推出了一种新颖的联合嵌入预测架构（JEPAs）方法HamJEPA，该方法超越了各向同性正则化。这种新方法将视图编码为相空间状态，并使用学习到的哈密顿跳蛙图进行跨视图预测。在CIFAR-100和ImageNet-100上的实验表明，与SIGReg等现有方法相比，kNN和线性探针精度有了显著提高。
-
新的协方差感知优度方法提升了前向-前向学习的性能
研究人员开发了一种名为协方差感知优度（BiCovG）的新方法，以提高前向-前向（FF）学习算法的性能，特别是在卷积神经网络中。该方法通过纳入二阶依赖性和空间相关性统计数据，解决了现有FF方法在复杂图像数据集上表现不如反向传播的局限性。提出的框架包括一个逻辑融合模块和一个特征对齐层，使得FF学习能够应用于更深的网络，并在ImageNet-100和Tiny-ImageNet等基准测试中取得了有竞争力的结果。
-
Checkerboard攻击为深度学习模型提供高效、无需学习的后门
研究人员开发了一种名为Checkerboard的新方法，用于对深度学习模型发起干净标签后门攻击。这种无需学习的技术使用源自线性可分性的闭式棋盘触发器，无需复杂的训练或优化。Checkerboard在CIFAR-10和ImageNet-100等基准数据集上表现出高效率和高效果，即使在中毒预算非常低的情况下，也能抵御先进的防御措施。
-
受物理学启发的图集成在图像分类中实现高精度
研究人员开发了一种新颖的受物理学启发的自然图像分类方法，摆脱了计算成本高昂的高维CNN特征。他们将冻结的MobileNetV2特征解释为准循环LDPC图上的伊辛自旋，形成一个随机键伊辛模型。通过在该模型上以其西森森温度运行，他们建立了谱拓扑对应关系以抑制有害的图子结构，在保持ImageNet-10和ImageNet-100等数据集高精度的同时，显著降低了维度。