Vision Transformers (ViTs)
PulseAugur coverage of Vision Transformers (ViTs) — every cluster mentioning Vision Transformers (ViTs) across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新型 OptiModNet 模型以高效率实现了最先进的视盘分割效果
研究人员开发了 OptiModNet，这是一种新颖的混合深度学习架构，旨在实现视盘和视杯的高效准确分割。该模型结合了 U-Net 和 Transformer 的元素，并融入了分组查询和通道注意力机制，以改善局部和全局特征表示。OptiModNet 还利用了聚合金字塔损失来增强梯度流动和结构一致性。在 REFUGE2 数据集上进行评估，该模型取得了最先进的性能，比现有方法提高了 2.5% 以上，同时保持了 3.73 GFLOPs 和 1…
-
新框架揭示了几何一致性是稳定扩散模型（stable diffusion models）的关键
研究人员开发了一个统一的框架来分析几何变换对 UNets、ViTs 和 DiTs 等扩散模型架构的影响。通过将二面体群元素应用于中间隐藏状态，他们观察到几何一致的变换增强了特征稳定性，而不一致的变换则会导致特定于架构的失败。这项研究将几何一致性确立为稳定视觉和扩散模型中空间结构隐藏状态干预的关键原则，其研究结果得到了 Stable Diffusion 2.1、ViTs 和 DiTs 分析的支持。
-
新的FiPS框架以最小的精度损失压缩Transformer模型
研究人员开发了一个名为细粒度参数共享（FiPS）的新框架，用于压缩大型Transformer模型。FiPS在一个单一的优化过程中结合了跨块参数共享、低秩分解和稀疏性。该方法有效地减小了Vision Transformers（ViTs）和大型语言模型（LLMs）的尺寸，同时精度或性能损失极小，优于现有的压缩技术。
-
新的MDSE攻击欺骗脉冲神经网络和传统模型
研究人员开发了一种名为混合动态脉冲估计（MDSE）的新型对抗攻击方法，专门用于脉冲神经网络（SNN）。该攻击表明，白盒对抗攻击对SNN的有效性在很大程度上受到代理梯度估计器选择的影响。MDSE攻击旨在同时利用多个代理梯度估计器，使其能够生成欺骗SNN和传统非SNN模型（如Vision Transformers和CNNs）的对抗样本。