PulseAugur
中
实时 09:58:09
实体 vision transformer

vision transformer

PulseAugur coverage of vision transformer — every cluster mentioning vision transformer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
48
90 天内 246
发布 · 30天
0
90 天内 0
论文 · 30天
47
90 天内 243
层级分布 · 90 天
主题
关系
情绪 · 30 天

10 天有情绪数据

最近 · 第 1/10 页 · 共 200 条
  1. TOOL · CL_368351 ·

    ProtoSeam 方法在标准基准测试中将分类器准确率提升高达 6%

    研究人员推出了一种名为 ProtoSeam 的新方法,通过重新构建监督分类来提高分类器准确率。该技术涉及在语义接口处分割神经网络,并为每个类别插入一个可学习的原型。在训练过程中,共识惩罚将初始网络层的输出拉向这些原型,而第二层则在围绕原型的样本上进行训练。这种方法在 ResNet 和视觉 Transformer 架构上,于 CIFAR-10、CIFAR-100 和 TinyImageNet 等数据集上,将测试准确率提高了多达六个百分点…

  2. TOOL · CL_366503 ·

    PANC 管道使用外部先验提供训练无关的上下文分割

    研究人员推出了一种新颖的训练无关上下文分割管道 PANC。该方法利用外部标注的上下文先验,特别是前景和背景 token,在无需任何训练或微调的情况下分割图像中的目标概念。PANC 通过使用这些外部 token 来偏置归一化割的特征空间,从而增强了现有的 Vision Transformer (ViT) token 谱方法,提高了分割精度,尤其是在模糊或低语义纹理领域。

  3. RESEARCH · CL_366418 ·

    新方法解决图像分类中的无监督类别增量学习问题

    两篇新的研究论文介绍了用于图像分类的无监督类别增量学习的新方法。PatchAdaNet 利用自动编码器在不存储旧数据的情况下持续更新特征表示,采用全局特征质心和弹性权重巩固来防止漂移。另一方面,RetroCBM 专注于保留将视觉特征与视觉-语言模型嵌入空间联系起来的统计数据,从而在旧训练样本被丢弃后仍能监督新概念。这两种方法都旨在提高模型在顺序学习场景中的性能和可解释性。

  4. TOOL · CL_366367 ·

    边缘AI硬件和模型部署挑战研究

    一篇新的调查论文将边缘硬件分为三个层级:中端设备(GPU、NPU、TPU)、嵌入式MPU/SoC和微控制器(MCU)。它分析了这些设备上图像分类和对象检测的基准测试结果,功耗范围从几十瓦到毫瓦。该论文提出了一个基于性能优先级的硬件到模型映射框架,并提供了设计原则,同时还强调了工具链碎片化和Vision Transformers在边缘设备上的可行性等部署挑战。

  5. TOOL · CL_352451 ·

    胸部X光AI:基础模型优于CNN-Transformer集成

    一项新的研究论文调查了将CNN和Vision Transformer结合用于胸部X光分类的有效性。研究发现,ImageNet预训练模型的集成性能不如在胸部放射线照片上预训练的单一基础模型EVA-X-S。这种集成方法还需要更多的计算资源和参数,这表明专门的基础模型在该任务上可能更有效率和更有效。

  6. TOOL · CL_358365 ·

    胸部X光分类:基础模型优于CNN-Transformer集成模型

    一项研究调查了结合ImageNet预训练的卷积神经网络(CNN)和视觉Transformer(ViT)用于胸部X光分类,与专门的胸部X光基础模型相比的有效性。研究发现,虽然ImageNet模型的集成很常见,但单个基础模型EVA-X-S取得了更高的AUROC分数0.828。包含EVA-X-S或仅由ImageNet模型组成的集成模型表现更差,并且带来了显著更高的计算成本。研究结果表明,对于这项特定任务,经过微调的基础模型优于传统的集成模型。

  7. TOOL · CL_352492 ·

    dNaViT:离散视觉标记实现通用表示

    研究人员推出 dNaViT,这是一种利用离散编码来表示视觉信息的新型视觉 Transformer,类似于语言模型使用标记的方式。该方法采用分组乘积量化和双分支目标,使 dNaViT 能够作为通用的视觉标记器。它在视觉理解、生成和编辑等各种任务上表现出色,可媲美或超越专用模型。

  8. RESEARCH · CL_350866 ·

    新的损失函数增强了视觉Transformer的注意力聚焦和专业化

    研究人员开发了新的损失函数,以提高视觉Transformer模型中注意力头的聚焦和专业化能力。这些方法鼓励模型将其注意力与特定图像区域对齐,从而在无需标记数据的情况下实现更多样化和空间聚焦的感知能力。这种增强的专业化提高了可解释性,并提升了零样本图像分割等任务的性能。

  9. TOOL · CL_350544 ·

    新的视觉 Transformer 模型只需少量曝光即可学习博弈机制

    研究人员开发了一种名为 WARC 的视觉 Transformer 模型,该模型可以从有限的交互中学习博弈机制。在 ARC-AGI-3 基准测试中,WARC 证明了以高精度预测博弈机制效果的能力,大多数机制的学习大约在 80 次曝光内完成。当与图探索器配对时,WARC-Agent 显著提高了探索器的效率,展示了测试时训练的好处。

  10. TOOL · CL_343463 ·

    Amazon Marketplace 使用 AI 提升 A+ 内容质量

    Amazon Marketplace 正在采用 Amazon SageMaker AI 来提升“A+ 内容”的质量,其中包括产品详情页面上的文本、图像和视频。此举旨在为销售合作伙伴提供改进内容的切实建议,从而促进销售和客户参与度。该系统利用视觉语言模型 (VLM) 全面评估内容,在 CatBoost 分类器中结合 VLM 语义分数、OCR 可读性信号和专家注释。然后使用 SHAP 来解释这些质量决策并为品牌生成具体的改进建议。

  11. RESEARCH · CL_344373 ·

    新研究探索使用未经训练和冻结的神经网络进行异常检测

    两篇新研究论文探讨了使用神经网络进行无监督异常检测。第一篇论文介绍了PRISM,一个结合了固定随机非线性特征和马氏距离评分的框架,在表格和视觉数据集上实现了高性能,而无需优化神经网络权重。第二篇论文提出了一种针对冻结视觉Transformer的故障引导跨层预测方法,该方法识别网络层之间的信息传输限制,从而在基准数据集上以非常高的准确率检测异常。

  12. TOOL · CL_342118 ·

    新的ENACT-Heart模型使用CNN和ViT实现97.52%的心音分类准确率

    研究人员开发了ENACT-Heart,一种用于分类心音的新型双分支集成模型。该系统结合了分析频谱图图像的Vision Transformer (ViT) 和处理波形可视化的卷积神经网络 (CNN)。该集成模型在PASCAL心音数据集上达到了97.52%的高准确率,优于单独的ViT和CNN模型。

  13. TOOL · CL_342002 ·

    新的 Omni-Encoder 使用共享参数处理图像、视频、音频

    研究人员开发了 Omni-Encoder,这是一种新颖的多模态编码器,它使用具有共享参数的单个 SigLIP-2 Vision Transformer 来处理图像、视频、音频和视听输入。这种方法与传统的依赖事后绑定或单独编码器的方法不同,它对所有模态进行端到端联合优化。该框架包括一个模态原生输入阶段和一个用于统一时空对齐的多模态旋转位置嵌入,而交替模态训练被证明对于稳定的联合优化至关重要。Omni-Encoder 使用单一参数集在所有…

  14. TOOL · CL_341955 ·

    自监督学习提升智能眼镜上的面部表情识别能力

    研究人员开发了一种自监督学习方法,以改进智能眼镜上的面部表情识别(FER),特别是 OCOsense 模型。该方法通过在无标签记录上预训练 Vision Transformer,显著减少了对标签数据的需求。当仅使用 5% 的标签进行微调时,预训练模型在性能上超越了使用所有可用标签进行训练的完全监督模型,展示了成本效益高且个性化的 FER 系统的潜力。

  15. TOOL · CL_341130 ·

    Aero-VPA:轻量级AI赋能边缘硬件上的敏捷飞行

    研究人员开发了Aero-VPA,一种专为边缘硬件上的3D导航设计的轻量级视觉-预测器-动作(Vision-Predictor-Action)架构。该系统利用了一个紧凑的RGB-D视觉Transformer和一个集成预测器,该预测器在无需像素重建的情况下预测潜在状态。然后,一个条件流匹配(Conditional Flow Matching)求解器生成速度和偏航率指令,集成离散度提供不确定性回退。在PX4软件在环(software-in-…

  16. TOOL · CL_336449 ·

    视觉Transformer集成在PalmCity街道分割挑战赛中名列前茅

    研究人员开发了一种用于全景街道分割的视觉Transformer模型集成,并在PalmCity挑战赛中取得了最高排名。该研究详细介绍了两阶段过程,首先比较了九个预训练的分割系统,然后优化了领先的候选模型。最终的集成模型通过广泛的数据增强和更大的输入分辨率进行训练,在隐藏测试排行榜上以61.54%的平均交并比得分获得第一名。论文还讨论了各种增强技术和模型架构对性能的影响,并公开发布了代码和模型。

  17. TOOL · CL_327439 ·

    DART分词器通过适应内容来提高视觉模型效率

    一篇研究论文介绍了一种新颖的可微分动态自适应区域分词器DART,旨在提高视觉基础模型的效率和能力。与固定网格分词器不同,DART使用可学习的区域得分和分区,将更多分词分配给信息丰富的区域。这种方法使一个较小的模型DeiT-Small能够以显著更快的推理速度匹配一个较大的模型DeiT-Base的性能。

  18. TOOL · CL_327316 ·

    CLARiTy视觉Transformer改进胸部X光片病理分类和定位

    研究人员开发了CLARiTy,这是一种新颖的视觉Transformer模型,用于同时对胸部X光片进行多病理分类和这些病症的弱监督定位。该模型利用特定类别的token生成注意力图,并使用SegmentCAM模块进行改进的分割和背景抑制。在NIH ChestXray14数据集上使用来自ConvNeXtV2教师的蒸馏进行训练,CLARiTy通过OneBox提取器将定位热图转换为边界框,展示了具有竞争力的分类准确性和显著改进的定位性能,尤其是…

  19. TOOL · CL_327277 ·

    新型防御“组合锁”应对多触发器AI后门攻击

    研究人员开发了一种名为“组合锁”(Combinatorial Lock)的新型防御机制,以对抗AI引擎中的多触发器后门攻击。这种无需训练的方法将识别多个异构攻击触发器视为一个组合问题,利用二元激活签名。该系统集成了异常门控光谱擦除和哈希压缩组合签名,在保持高干净准确率的同时,显著降低了攻击成功率,并适用于各种模型架构。

  20. TOOL · CL_325154 ·

    用于量子点识别的AI模型在从模拟到实验的迁移中表现不佳

    一项新的研究论文对五种不同的神经网络架构进行了量子点状态识别的基准测试。研究发现,在模拟数据上表现良好的模型在实验数据上的表现并不一定同样出色,这表明仅凭合成性能不足以选择用于实际部署的模型。该研究强调了在开发用于量子点表征的机器学习工具时,考虑架构、预处理、数据效率和实验迁移的重要性。