Vision Transformer Large
PulseAugur coverage of Vision Transformer Large — every cluster mentioning Vision Transformer Large across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架支持数十亿参数Transformer模型的线性合并
研究人员开发了一个新的框架，用于合并大型预训练Transformer模型，特别是那些拥有数十亿参数的模型。该方法通过同时优化两个模型端点的插值路径来解决先前方法的局限性，并使用双重学习过程来对齐它们。该技术在WikiText数据集上对中等参数语言模型表现出接近零损失的障碍，并在ImageNet上对Vision Transformer Large模型保持了高精度，这表明解决参数对称性可以实现大规模Transformer架构的可靠线性合并。
-
新研究探索合并大型Transformer模型和提高循环模型稳定性
两篇新研究论文探索了增强大型Transformer模型能力和稳定性的新颖技术。第一篇论文介绍了一个可扩展的线性模式连接（LMC）框架，该框架允许合并数十亿参数的预训练Transformer，在WikiText上展示了接近零损耗的障碍，并保持了视觉Transformer在ImageNet上的高精度。第二篇论文研究了循环Transformer中的残差缩放，提出了一种新的缩放因子，该因子提高了可训练性，并允许在不同有效深度之间直接进行超参数…
-
新的Anatomy-Slot方法提高了视网膜诊断的准确性
研究人员开发了一种名为Anatomy-Slot的新型无监督方法，用于分析视网膜图像，通过明确比较左右眼同源解剖结构来提高诊断准确性。该方法将图像块分解为不同的解剖区域，从而实现更鲁棒的双侧推理过程。在ODIR-5K数据集上，该方法比基线模型在AUC方面显著提高了4.2个百分点，为开发更符合临床实践的可解释诊断系统指明了方向。
-
Anatomy-Slot 方法通过模拟双侧结构改进视网膜诊断
研究人员开发了一种名为 Anatomy-Slot 的新无监督视网膜诊断方法，该方法明确模拟了病情的双侧性质。通过将图像块分解为不同的槽并使用交叉注意力在双眼之间进行对齐，该技术旨在提高诊断准确性。在 ODIR-5K 数据集上的测试中，Anatomy-Slot 的 AUC 比标准的 ViT-L 基线提高了 4.2%，这表明明确的结构对应关系可以提高诊断性能。