Imagenette
PulseAugur coverage of Imagenette — every cluster mentioning Imagenette across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新方法探测神经网络损失锐度以实现稳定的学习率
研究人员开发了一种新方法来估计神经网络中损失函数的局部锐度，这是稳定梯度步骤的关键因素。通过分析Armijo回溯线搜索期间接受的步长，他们可以推导出一种低成本的Hessian特征值探测器。该探测器在初始化期间使用一次，可提供一个学习率保护器，使Adam和AdamW等优化器在各种值和架构上都能抵御过大的初始学习率。
-
Fusion框架统一视觉Transformer适配以提高效率
研究人员开发了Fusion，一个旨在通过统一的顺序令牌适配技术来提高视觉Transformer（ViTs）效率的新型框架。该框架以分阶段的方式协调令牌合并、提前退出和令牌修剪，使这些机制能够协同工作而非竞争。Fusion还集成了轻量级路由模块，无需重新训练即可动态调整准确率-延迟权衡。在DeiT-S的ImageNet-1k上的实验表明，Fusion在计算预算方面匹配或超过了最先进的自适应ViT方法，同时显著降低了校准误差和推理能耗。
-
LLM指导神经网路生成，通过源模型指导提高准确性 · 已追踪2个来源
研究人员开发了一种新协议，利用大型语言模型（LLM）通过一个更强的同家族源模型指导生成过程，来改进现有的神经网路。该方法旨在解耦迁移学习与适应，确保生成的修改既有效又准确。该协议在CIFAR-10和SVHN等数据集上展示了显著的准确性提升，优于非源指导的候选模型，并表明LLM会适应而非简单复制源模型的架构。
-
CLEAR-MoE 将冻结的 Vision Transformers 转换为稀疏 MoE 模型
研究人员开发了 CLEAR-MoE，这是一种新颖的训练后方法，可以将冻结的 Vision Transformers (ViTs) 转换为稀疏专家混合 (MoE) 模型，而无需更改原始骨干网络的权重。该技术涉及一个四阶段的流程，对前馈网络层进行评分和分解，训练轻量级路由器，并分派 token。在各种 ViT 骨干网络上进行的实验表明，CLEAR-MoE 可以保留几乎所有密集模型的准确性，其中共享的奇异值分解 (SVD) 基础对于保持性能…
-
新研究表明数据集蒸馏效果不如核心集选择
一篇新的研究论文批判性地评估了数据集蒸馏（DD）方法，发现它们通常不如更简单的核心集选择（CS）策略，尤其是在ImageNet等大规模数据集上。该研究将七种最先进的DD方法与三种CS策略进行了基准测试，结果显示DD方法的计算成本可能更高，且实际优势有限。核心集还能更好地覆盖原始数据分布。
-
将自旋玻璃理论应用于AI潜在空间以改进生成和异常检测
研究人员开发了一种新方法，通过应用自旋玻璃理论来分析自编码器和变分自编码器的潜在空间。该方法形式化了一个字典，可以检测训练过的潜在表示中的有序、无序和稳定边缘相。研究表明，将潜在几何结构优化到稳定边缘可以提高生成任务和异常检测任务的性能，这表明这些模型需要一种面向相的评估范式。
-
Anomaly detection benchmarks flawed by score-direction instability
一篇新的研究论文指出了在评估异常检测模型时一个关键的缺陷。研究表明，当异常类别在表示空间中与正常数据分布重叠时，标准的类分割评估可能并不可靠。这种重叠会导致异常分数变得不稳定，甚至反转，并且首选的分数方向可能会根据未知的异常类别而改变。研究人员提出了一种名为邻域类别泄露的简单诊断工具来预测这种不稳定性，并建议当前的基准测试应被视为依赖于几何的压力测试，而不是对异常检测能力的最终衡量标准。
-
新的FP-MGMs大幅降低训练成本并提高生成质量
研究人员开发了固定点掩码生成模型（FP-MGMs），以提高掩码生成模型的效率和质量。这个名为CoFRe的新框架利用固定点求解器和自适应深度来降低计算成本和参数使用量。CoFRe还结合了跨步一致性损失和三状态重用机制，以提高性能，尤其是在低采样预算下。该方法在文本和图像生成任务中显著减少了训练时间、VRAM和参数数量，同时提高了生成困惑度和图像质量。
-
研究探讨稀疏分配如何影响剪枝后神经网络的恢复能力
一篇新研究论文调查了神经网络中稀疏分配的分配方式如何影响其在剪枝后恢复精度的能力，尤其是在没有标记的重新训练数据的情况下。该研究比较了ERK和LAMP等不同的稀疏分配方法在各种数据集和架构上的表现，发现分配方式的选择显著影响剪枝后修复的精度。研究人员确定了一个关键的过渡区域，在此区域标准修复方法开始失效，这凸显了联合考虑剪枝分配和修复策略的必要性。
-
Learn&Drop方法通过丢弃层将CNN训练时间减半
研究人员开发了一种名为Learn&Drop的新颖方法来加速卷积神经网络（CNN）的训练。该技术在训练过程中动态评估层参数变化，并通过丢弃未积极学习的层来缩小网络规模。与专注于推理压缩或反向传播优化的现有方法不同，Learn&Drop的目标是减少训练过程中的前向传播操作。在MNIST、CIFAR-10和Imagenette数据集上的VGG和ResNet架构上进行的实验表明，该方法可以在不显著损失准确性的情况下将训练时间缩短一半以上。
-
RDCNet通过新颖的扩张卷积实现最先进的图像分类
研究人员推出RDCNet，这是一种旨在提高图像分类准确性的新颖架构。该网络集成了多分支随机扩张卷积模块，用于捕获细粒度特征并增强噪声鲁棒性。此外，它还包含一个细粒度特征增强模块，用于连接全局和局部表示，以及一个上下文激励模块，用于强调相关特征。在多个基准数据集上的实验表明，RDCNet取得了最先进的成果。