PulseAugur
中
实时 14:16:19
实体 Vits

Vits

PulseAugur coverage of Vits — every cluster mentioning Vits across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
8
90 天内 37
发布 · 30天
0
90 天内 0
论文 · 30天
7
90 天内 33
层级分布 · 90 天
主题
关系
情绪 · 30 天

5 天有情绪数据

最近 · 第 1/2 页 · 共 38 条
  1. TOOL · CL_366376 ·

    DetectViT识别视觉Transformer中的后门攻击

    研究人员开发了DetectViT,一种在推理时检测视觉Transformer(ViTs)中后门的新颖方法。该方法分析头间注意力差异,识别两种劫持类型:完全注意力重叠和部分注意力分布方差。DetectViT无需训练数据或模型输出即可运行,以最小的计算开销实现了高检测率。

  2. COMMENTARY · CL_362117 ·

    AI 研究员质疑 Vision Transformer (ViT) 的受欢迎程度

    r/MachineLearning 上的一位用户正在质疑 Vision Transformer (ViT) 的广泛受欢迎程度,特别是基础 ViT 架构。他们将 ViT 与卷积神经网络 (CNN) 和混合模型进行对比,发现后者由于其归纳偏置,对于边缘设备更为直观。该用户想知道 ViT 的普遍存在是由于历史趋势还是廉价计算的可用性,而不是对所有任务的固有优势,并寻求该领域其他人的见解。

  3. TOOL · CL_360486 ·

    SWAM框架通过显著性加权合并提升视觉Transformer效率

    研究人员开发了SWAM(显著性加权非对称合并),一个旨在提高视觉Transformer(ViTs)效率的新框架。SWAM通过在处理过程中减少Token数量来解决ViTs的计算成本问题。该方法结合了显著性感知机制,使用余弦相似度和显著性惩罚来选择Token,并通过非对称聚合优先处理更显著的Token。SWAM使用DeiT-Small骨干网络进行端到端训练,在CIFAR-100、TinyImageNet和ImageNet-100等各种图像…

  4. TOOL · CL_352469 ·

    新的 CAAP 方法提高了 Vision Transformer 的归因准确性

    研究人员推出了一种新方法,称为通过激活打补丁实现因果归因 (CAAP),用于识别 Vision Transformers (ViTs) 中有影响力的图像区域。与依赖近似或输入干预的现有技术不同,CAAP 直接操纵内部激活表示。该方法将特定于块的激活插入到跨中间层的中性上下文中,以衡量与块相关的内部表示对模型最终预测的因果贡献。与各种 ViT 架构和度量标准上的当前方法相比,CAAP 在产生更忠实和局部化的归因方面表现出卓越的性能。

  5. TOOL · CL_327368 ·

    SAGE 增强 Vision Transformers 以实现通用视觉识别

    研究人员推出了 SAGE,一种显着性退火门控编码器,旨在增强 Vision Transformers (ViTs) 在通用视觉识别任务中的性能。SAGE 集成了一个显着性引导架构,该架构利用 DINO 风格的类标记显着性来进行特征门控和细节增强。它还采用了一种基于退火的训练范式和一种两阶段、质量感知的训练机制,该机制从焦点损失过渡到 Varifocal 损失。该方法在 COCO、ADE20K、TinyImageNet 和 DIOR-R…

  6. TOOL · CL_294737 ·

    深度学习系统以95%的准确率检测母牛分娩宫缩

    研究人员开发了一种使用深度学习的计算机视觉系统,可自动检测哺乳奶牛的分娩宫缩。该系统利用卷积神经网络(CNN)和视觉Transformer(ViT),分析视频片段,以超过95%的准确率识别宫缩行为。该技术旨在通过实时监测和及时干预分娩过程,提高奶牛业的动物福利和生产力。

  7. TOOL · CL_284407 ·

    新的 ViT Token 缩减策略提升了分布外准确率

    研究人员为 Vision Transformer (ViTs) 开发了一种新的 Token 缩减策略,可在分布偏移下提高性能。这种“后期集中式”策略在后续层中移除更多 Token,与标准的“平坦式”策略相比,始终能提高分布外准确率。该方法以计算量的一小部分恢复了大部分原始准确率,在 ImageNet-C 和其他偏移数据集上,跨不同骨干网络和模态均显示出显著的提升,且无需进行每输入调优。

  8. RESEARCH · CL_284351 ·

    新方法增强了针对MLLM和视觉模型的对抗攻击的迁移性

    研究人员开发了新的方法来提高对抗性攻击针对多模态大语言模型(MLLM)和视觉语言模型的迁移性。第一种方法IAU-FOA在全局和局部层面匹配对抗样本和目标样本,使用最优传输进行细粒度特征匹配,并通过视觉不变性增强来提高跨不同视觉编码器的泛化能力。第二种方法LI-Boost侧重于增强对抗性扰动中的局部不变性,证明了这种局部不变性与跨各种模型架构甚至商业视觉API的迁移性提高之间存在正相关。

  9. TOOL · CL_259501 ·

    新的CRAFT框架通过自适应分辨率改进组织病理学图像分析

    研究人员开发了一个名为CRAFT(粗粒度到细粒度区域自适应特征标记)的新型自监督学习框架,用于组织病理学图像。这种基于DINO的方法学会自适应地分配空间分辨率,在保持更广泛上下文的同时细化信息区域。CRAFT在CAMELYON16和TCGA-Lung等数据集上,在分类和生存预测任务中表现出色,通常以更低的计算要求超越更大的模型。

  10. TOOL · CL_257237 ·

    evMLP:用于高效视觉处理的新型事件驱动MLP架构

    研究人员推出了一种新颖的全MLP架构evMLP,专为视觉任务,特别是视频处理而设计。该架构利用事件驱动机制,仅处理帧之间的变化区域,从而减少了冗余计算。evMLP在ImageNet等图像数据集上实现了具有竞争力的准确性,并在视频数据集上展示了显著的计算节省,这些节省在计算密集型条件下转化为实际的速度提升。

  11. TOOL · CL_245026 ·

    深度学习模型可实现皮肤癌的无活检亚型分析

    研究人员开发了一种使用 Vision Transformers (ViTs) 的深度学习模型,用于从皮肤镜图像中对 basal cell carcinoma (BCC) 进行亚型分析,有可能消除侵入性皮肤活检的需要。该模型在区分侵袭性 BCC 亚型与其他亚型方面取得了 0.784 的 AUC,优于传统的 CNN 和人类读者。通过提供一种非侵入性的 BCC 亚型分析方法,这种方法可以改善治疗计划和患者预后。

  12. COMMENTARY · CL_240862 ·

    机器人学在LfD和BC领域:讨论LLM和ViT的影响

    r/MachineLearning 子版块正在讨论从演示中学习(LfD)和行为克隆(BC)领域的研究现状。一个关键问题是,这些领域是否受到前沿大型语言模型(LLM)近期进展的影响,还是在独立发展。参与者还在询问视觉 Transformer(ViT)和视觉语言模型(VLM)在 LfD 和 BC 研究中的采用和影响,以及这些领域是否有其他值得注意的近期进展。

  13. TOOL · CL_227234 ·

    新基准评估用于地球观测变化检测的AI

    开发了一个新的基准来评估地球观测变化检测的AI方法,解决了当前研究中的不一致性。该基准标准化了评估协议,并在十个多样化的数据集和包括CNN和ViT在内的十个模型架构中考虑了预测准确性和计算效率。研究发现,当效率是一个因素时,优化的经典模型(如Siamese U-Nets)通常比复杂的当代模型表现更好,并且预训练在不增加推理成本的情况下持续提高性能。所有遵循FAIR原则的可复现性资源均公开可用。

  14. RESEARCH · CL_227067 ·

    新研究详细介绍了多模态大语言模型注意力和视觉搜索的进展

    两篇新研究论文探讨了多模态大语言模型(MLLMs)的进展。第一篇论文介绍了语义头特化(SHS),用于分析和改进Vision Transformer(ViT)的注意力头,从而产生一种更高效的混合注意力机制,称为Ariadne Attention。第二篇论文提出了VisLens,一种用于MLLMs中可解释视觉搜索的单通道方法,与现有方法相比显著降低了延迟。

  15. TOOL · CL_206697 ·

    EdgeCrafter: 紧凑型ViT用于边缘密集预测

    研究人员开发了EdgeCrafter,这是一个新的框架,利用专为边缘设备上的密集预测任务设计的紧凑型Vision Transformers (ViTs)。该框架解决了在严格的计算和内存限制下部署高性能模型的挑战,而传统上CNN架构(如YOLO)在此领域占据主导地位。EdgeCrafter采用任务专用蒸馏和对边缘友好的编码器-解码器设计,使紧凑型ViTs在物体检测、实例分割和姿态估计方面能够实现具有竞争力的精度-效率权衡。

  16. TOOL · CL_184997 ·

    Gemini API 图像标记成本详解

    Google 的 Gemini API 通过将图像分解为视觉块来对其进行标记化,成本取决于图像分辨率。高达 384x384 像素的图像被视为一个标记,成本为 258 个标记。较大的图像被分成 768x768 像素的图块网格,每个图块的成本为 258 个标记。这种标记化过程对于开发人员管理 API 成本和优化多模态应用程序中的上下文窗口使用至关重要。

  17. TOOL · CL_185519 ·

    MOAT防御流水线保护Vision Transformer免受效率下降攻击

    研究人员推出了一种新颖的防御流水线MOAT,旨在保护Vision Transformer(ViT)免受会降低其效率的对抗性攻击。MOAT采用一系列输入变换,使其具有模型无关性,并与用于降低计算成本的现有令牌修剪技术兼容。实验表明,MOAT有效地将攻击下的GFLOPs下降限制在原始模型性能的3.4%以内。

  18. TOOL · CL_185515 ·

    新的IRIS框架分析Vision Transformers中的方向选择性

    研究人员开发了一个名为IRIS的新框架,用于分析Vision Transformers (ViTs) 中方向选择性的产生方式。该框架使用受神经科学启发的指标来研究ViTs如何编码低级特征,类似于人眼视觉皮层处理信息的方式。研究发现,训练范式是影响方向选择性最重要的因素,许多单元在训练早期就变得具有选择性,而更深的层则转向语义编码。IRIS框架可以帮助跟踪ViT训练过程中受生物学启发的特征,并为如何优化层解冻以获得更好的下游泛化能力提供见解。

  19. RESEARCH · CL_169879 ·

    新的PTQ方法增强了Vision Transformer在边缘设备的效率

    两篇新研究论文介绍了用于Vision Transformer(ViTs)的先进训练后量化(PTQ)技术,以提高在资源受限设备上的效率。MixFrag通过估计组件脆弱性并将比特分配制定为背包问题,专注于自适应的层级精度分配,在ImageNet-1K上取得了有竞争力的性能,并在COCO目标检测上取得了最先进的结果。DopQ-ViT通过将量化与激活分布对齐并处理异常值来解决性能下降问题,提出了一种Tan量化器和一种MAD引导的最优缩放因子,…

  20. TOOL · CL_158553 ·

    BRIM加速器通过双边稀疏性提升DNN推理性能

    研究人员开发了BRIM,一种新颖的软硬件协同设计的比特串行稀疏推理加速器。该系统解决了双边稀疏性利用中固有的工作负载不平衡问题,该问题此前限制了处理效率。BRIM利用循环平衡剪枝和成对槽位捐赠,实现了超过90%的处理单元利用率,从而在各种神经网络架构上实现了显著的速度提升和能效改进。