PulseAugur
中
实时 20:46:54
实体 ImageNet ILSVRC-2012

ImageNet ILSVRC-2012

PulseAugur coverage of ImageNet ILSVRC-2012 — every cluster mentioning ImageNet ILSVRC-2012 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
16
90 天内 52
发布 · 30天
0
90 天内 0
论文 · 30天
16
90 天内 51
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

LAB BRAIN
observation resolved confirmed 置信度 0.85

ImageNet ILSVRC-2012 is a recurring benchmark for diverse vision model optimizations

The recent cluster evidence shows ImageNet ILSVRC-2012 being used to evaluate advancements in model scaling (FractalMamba++), quantization (Colinearity Decay), resource-constrained deployment (optimized ViTs), adversarial robustness (HyCAS), and inference speed (Hyperspherical Forward-Forward). This indicates its continued relevance across a wide spectrum of vision model research.

hypothesis expired 置信度 0.55

ImageNet ILSVRC-2012 benchmarks will see adoption of Hilbert curve serialization for high-res vision models

The FractalMamba++ paper introduces Hilbert curve serialization for high-resolution image patches. As ImageNet ILSVRC-2012 is a common benchmark for vision models, it's plausible that future research will evaluate models using this technique on ImageNet, especially for tasks involving fine-grained details.

hypothesis expired 置信度 0.70

ViT quantization techniques like Colinearity Decay will be evaluated on ImageNet ILSVRC-2012

Colinearity Decay is presented as a method to improve low-bit quantization for Vision Transformers. Given ImageNet ILSVRC-2012's role as a standard dataset for evaluating vision model performance, it is highly likely that this quantization technique will be benchmarked against it to demonstrate its effectiveness.

查看全部假设 →

最近 · 第 1/3 页 · 共 59 条
  1. RESEARCH · CL_365867 ·

    AdaS-ViT 推进了能效高的脉冲视觉Transformer

    研究人员开发了AdaS-ViT,一种用于脉冲视觉Transformer的新型架构,旨在实现超高能效。该模型采用测试时自适应路由,允许它根据注意力分数动态调整发放模式,以最大限度地减少计算冗余。通过选择性地将显著区域进行细粒度发放,并将节能模式分配给其他区域,AdaS-ViT在保持ImageNet-1k等基准测试具有竞争力表现的同时,实现了显著的节能。

  2. RESEARCH · CL_366225 ·

    研究揭示亚 4 位视觉 CNN 因量化而崩溃

    研究人员调查了深度视觉模型在量化到亚 4 位精度时为何会遭受准确率损失,这是资源受限环境中的常用技术。研究表明,这种崩溃是非线性的,主要影响后期层。一种新颖的多步恢复方法表明,将一小部分关键激活保留在 8 位精度下可以恢复显著的准确率。研究还强调了在标准 CPU 架构上,模型尺寸减小与解包操作导致的执行时间增加之间的权衡。

  3. TOOL · CL_355515 ·

    新研究探讨AI架构搜索方法的局限性

    研究人员发现,在特定延迟预算下,用于架构搜索的块蒸馏方法存在局限性,尤其是在加性假设失效时。研究发现,虽然微调可以缩小性能差距,但尤其是在激进的预算下,仍然存在显著的差异。该论文提出了一些诊断和修复这些故障的方法,包括限制相邻层移除的干预措施以及使用logit-sum预测器对移动进行排序的混合搜索方法,在许多情况下,其性能优于成对交互感知程序。

  4. TOOL · CL_336547 ·

    PixelMoE 将 LLM 风格的混合专家模型应用于像素空间扩散模型

    研究人员推出了一种新颖的像素空间扩散模型 PixelMoE,该模型利用 LLM 风格的混合专家模型 (MoE) 实现高效扩展。与传统的密集模型不同,PixelMoE 使用稀疏计算,并结合了细粒度的专家和用于共享表示的通用专家。这种方法与像素空间分层流匹配相结合,实现了输入自适应稀疏计算,并在不同模型规模下提高了性能。PixelMoE 在 ImageNet-1K 上取得了具有竞争力的 FID 分数,在活跃参数数量相当的情况下,其性能优于…

  5. TOOL · CL_336442 ·

    新型抛物线位置编码提升视觉AI性能

    研究人员推出了一种新颖的位置编码方法——抛物线位置编码(PaPE),用于编码基于视觉的AI模型中的位置信息。与先前改编自语言序列编码的方法不同,PaPE专为视觉模态设计,考虑了平移不变性、旋转不变性和距离衰减等因素。在ImageNet-1K上的实验表明,PaPE具有卓越的外推能力,在性能上比现有方法提高了高达10.5个绝对百分点。在四个模态和八个数据集上的进一步测试证实了PaPE的通用性和有效性,在大多数情况下均能达到或超过基线性能。

  6. TOOL · CL_325184 ·

    一项新研究质疑神经网络剪枝的基本前提

    一篇新论文质疑了长期以来被认为是神经网络剪枝基础的“甲骨文剪枝”(oracle pruning)方法。该研究训练并分析了跨越不同架构和数据集的37,000个模型,发现剪枝模型在重新训练后的性能与其重新训练前的性能之间几乎没有相关性。这表明,当前源自甲骨文剪枝标准的剪枝方法可能基于一个有缺陷的前提,尤其是在较大的深度学习模型上。研究提出,任务复杂度是导致这种无效性的关键因素,并建议在开发新的剪枝标准时应纳入重新训练阶段。

  7. TOOL · CL_325175 ·

    新方法通过解耦编码器和去噪模型来提高图像合成效率

    研究人员开发了一种新的高效图像合成方法,通过将固定的预训练图像编码器与单独的潜在去噪模型解耦。该方法完全在球形潜在空间内运行,消除了训练和推理过程中低效的像素空间操作。与现有的Sphere Encoder相比,该新方法在Animal-Faces、Oxford-Flowers和ImageNet-1K等数据集上的生成质量和推理速度方面均有显著提升。

  8. TOOL · CL_324588 ·

    新型ACSAN模型集成卷积与视觉Transformer

    研究人员推出全卷积自注意力网络(ACSAN),这是一种新颖的深度学习模型,旨在提高视觉Transformer(ViTs)的效率和适用性。ACSAN集成了卷积运算,以取代ViTs中常见的全连接矩阵乘法。该模型采用动态卷积自注意力(DCSA)模块,该模块使用多尺度空洞卷积来生成查询(Query)、键(Key)和值(Value),并结合了空间和通道自注意力机制。在CIFAR-10、CIFAR-100和ImageNet-1k数据集上的实验表明…

  9. TOOL · CL_322010 ·

    适配的蒸馏图像生成器可提高分类器准确性

    研究人员开发了一种方法,以提高蒸馏文本到图像模型在视觉学习中的实用性。通过使这些快速生成器达到其较慢的基础模型的中间状态,生成的图像可以训练出更好的分类器。该技术提高了 ResNet-50 等分类器在 ImageNet-1k 等数据集上的性能,将 FLUX.2 和 SD-Turbo 等模型的准确性从个位数提高到 30% 以上。

  10. TOOL · CL_312888 ·

    LightSplit 通过正交投影增强分割学习的隐私保护

    研究人员开发了 LightSplit,一种新颖的隐私保护分割学习方法,它使用正交投影来减少通信开销并防止重构攻击。该方法将神经网络划分到客户端和中央服务器之间,投影充当信息瓶颈,丢弃实例特定的信号。LightSplit 保持端到端可微分性,并在各种基准测试中进行了评估,显示出显著的压缩率,同时保持高精度并抵御最先进的重构攻击。

  11. TOOL · CL_303631 ·

    新的 TASTE 框架利用 Stein 算子增强分布外检测

    研究人员推出了一种新颖的机器学习分布外(OOD)检测框架 TASTE(任务感知 STEin 算子)。与仅关注输入数据或分类器输出的现有方法不同,TASTE 将分布变化直接与模型的输入敏感性联系起来。这种方法提供了理论保证,并允许定位分布变化,为图像数据提供逐像素诊断。在包括 MNIST 和 ImageNet-1K 在内的各种数据集上进行的实验表明,TASTE 与任务退化一致,并且在与已建立的 OOD 检测方法相比时具有竞争力。

  12. RESEARCH · CL_301318 ·

    新研究探索自适应视觉感知,涉及2个信息源

    近期 arXiv 上的两篇论文探讨了主动视觉感知领域的进展。在该领域,AI 系统动态控制其视觉证据的获取方式以提高识别能力。第一篇论文提供了全面的综述,阐明了定义并提出了一个评估框架,以便更好地比较不同的主动感知方法。第二篇论文介绍了一种新颖的自适应观测控制接口,允许模型动态调整其视野和注视点数量,在 ImageNet 等基准测试中展示了改进的准确性-计算权衡。

  13. TOOL · CL_300649 ·

    新方法认证检测对抗性AI攻击

    研究人员开发了一种检测深度学习分类器对抗性攻击的新方法,重点在于认证恶意输入被标记,而不是确保模型鲁棒性。该方法利用Lipschitz-边际分析将问题简化为估计单个Lipschitz常数。所提出的检测器可以应用于任何预训练分类器而无需重新训练,在MNIST、CIFAR-10和ImageNet-1k等数据集上,针对各种骨干架构,其性能与现有方法相比具有竞争力或更优。

  14. RESEARCH · CL_301188 ·

    新方法使Transformer能够适应不同的计算预算

    研究人员开发了一种新颖的方法,可以在不重新训练的情况下使预训练的Transformer模型更能适应不同的计算资源。这种称为“弹性”的技术允许单个模型检查点在各种硬件和工作负载需求下动态调整其大小和性能。通过联合排序和软剪枝MLP神经元和注意力头,该方法能够在高达60%的稀疏度下实现平滑的性能下降,优于现有的单次剪枝基线。

  15. RESEARCH · CL_284847 ·

    果蝇连接组被重新用于人工智能任务,在计算机视觉方面展现出潜力

    研究人员已经证明,果蝇的神经连接组可以被重新用于执行人类设计的认知任务。通过使用 MaleCNS v1.0 连接组作为固定的网络拓扑,模型在有界加法和基础关系语言任务上取得了高精度。同样,果蝇的视觉连接组在集成到名为 FlyVision 的架构后,在通用计算机视觉任务中表现出有效性,在 MNIST、CIFAR-10 和 ImageNet-1K 等基准测试中取得了具有竞争力的准确率,并且参数量少于 ResNet18 等传统模型。这些研究…

  16. TOOL · CL_275412 ·

    新框架用模糊规则解释医学影像AI模型

    研究人员开发了一个新框架来解释用于医学影像的基础模型的潜在特征。这个基于原型的模糊规则系统对特征进行聚类,生成人类可读的IF-THEN规则,从而提供模型如何组织临床信息的透明视图。该方法应用于在ImageNet-1K和GastroNet-5M上预训练的ViT-S/16模型,在未经微调的情况下实现了与黑盒分类器相当的准确率,并且还可以分析合成医学图像以了解生成器行为。

  17. TOOL · CL_275099 ·

    新论文发现AI训练数据的价值取决于学习者

    一项新的研究论文探讨了训练数据样本的价值并非绝对,而是取决于所使用的特定机器学习模型。实验表明,改变模型的架构,例如增加其宽度或改变其输入处理方式,可以显著改变哪些数据样本被认为对训练最有价值。这表明数据选择策略必须针对目标学习者进行定制,而不是依赖于通用规则。

  18. TOOL · CL_275098 ·

    ShatterQuant为Transformer硬件实现块状混合精度

    研究人员开发了ShatterQuant,一种用于神经网络混合精度量化的新颖框架,它允许在单个张量内的不同块分配独立的比特宽度。该方法与专为Transformer设计的定制硬件加速器集成,从而能够更精细地控制精度和计算效率。与现有方法相比,该系统在TOPS、面积效率和能效方面均有显著提升,同时在图像识别和生成任务上保持了可比的准确性。

  19. TOOL · CL_259175 ·

    量子启发式Transformer (QiT) 推进视觉识别

    研究人员开发了QiT,一种用于视觉识别任务的量子启发式Transformer模型。QiT利用了量子模型的结构思想,例如角度启发式编码和周期性特征自注意力,来创建一个模仿量子神经网络特性的经典Transformer。虽然不使用量子计算,QiT旨在经典模型中分离和评估受量子启发的归纳偏差。该模型在图像分类基准测试中表现出竞争力,其QiT-B变体在ImageNet-1K上达到了78.3%的top-1准确率。

  20. RESEARCH · CL_257181 ·

    新的CTOAC方法改进了视觉状态空间对偶模型的低比特量化

    研究人员开发了一种新的后训练量化(PTQ)方法,称为通道感知、Token平衡、输出感知裁剪(CTOAC),以解决视觉状态空间对偶(VSSD)模型中的低比特量化挑战。该研究确定激活量化是关键瓶颈,并提出CTOAC学习每输入通道的裁剪边界,从而最小化重建损失。该方法在各种VSSD模型尺寸的激进精度设置下成功保持了ImageNet-1K的准确性并提高了鲁棒性,同时在COCO和ADE20K数据集上的目标检测和分割任务中也保持了性能。在RTX …