Transformer-based architectures
PulseAugur coverage of Transformer-based architectures — every cluster mentioning Transformer-based architectures across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
图像编码器的选择显著影响 GCN 在乳腺超声分类中的性能
研究人员调查了不同图像编码器对图卷积网络 (GCN) 在乳腺超声分类中性能的影响。研究发现，包括卷积和基于 Transformer 的架构在内的更高容量的编码器，持续提高了图同质性以及准确性、AUC、敏感性、特异性和 F1 分数等下游分类指标。研究还建立了测试集图同质性与分类准确性之间的强相关性，表明编码器提供的更高表示质量是性能提升的关键因素。
-
新框架实现对AI音乐生成的可解释控制
研究人员开发了一个新的框架，用于控制符号音乐生成模型，特别是Multitrack Music Transformer (MMT)。该方法使用PID反馈控制和激活引导，可以在不重新训练模型的情况下对音高和持续时间等属性进行细粒度、可解释的调整。该方法验证了线性表示假设，并引入了一个具有Gram-Schmidt正交化的双重引导框架来管理特征纠缠并改进控制。
-
尼泊尔表情包分析使用 Transformer 进行仇恨言论和情感分析
研究人员开发了基于 Transformer 的模型来分析尼泊尔表情包中的仇恨言论和情感。该研究侧重于表情包中的文本提取，采用 OCR 和随后的 Transformer 架构分析。实验表明，一个仅解码器的模型在二元仇恨言论检测方面表现出色，而软投票集成方法将情感分析性能在 Macro F1 分数上提高了 15.8%。
-
迁移学习提升高能物理领域AI模型效率
研究人员探索了迁移学习技术以提高高能物理领域机器学习模型的性能。通过在计算成本较低的快速模拟数据上预训练模型，然后将其适配到更真实、完全模拟的数据集上，他们发现了显著的改进。这种方法通常能将分类和喷注识别等各种任务所需的靶域训练数据量减半，证明了可重用科学资产的价值。