Supervised contrastive learning with multiple positive examples
PulseAugur coverage of Supervised contrastive learning with multiple positive examples — every cluster mentioning Supervised contrastive learning with multiple positive examples across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI 模型利用大脑形态学改进阿尔茨海默病检测
研究人员开发了一种新颖的深度学习方法,用于通过 3D MRI 扫描改进阿尔茨海默病的检测。该方法侧重于单域泛化,使在某数据集上训练的模型能够在具有不同分布的未见数据上表现良好。通过整合捕获大脑形态学的可学习模块并利用监督对比学习,该系统提取了更鲁棒的表示,尤其是在处理不平衡数据集和成像协议变化时表现出增强的性能。
-
新方法改进了跨语言文本的CEFR水平评估
研究人员开发了一种新颖的方法,用于自动评估文本中的CEFR水平,解决了数据不平衡和级别边界模糊等挑战。他们的方法结合了focal loss来处理代表性不足的样本,以及监督对比学习来更好地区分表示。这种统一的目标在单语和多语环境中都显示出优于现有基线方法的性能,并在CEFR评估基准上取得了新的最先进成果。
-
新的对比学习方法优化了不平衡数据集的表示几何
研究人员开发了一个新的理论框架,用于理解有监督对比学习中的表示几何,特别是在长尾分布的数据集上。他们的分析表明,现有方法未能形成规则单纯形几何,因为它们仍然依赖于每个类别的样本数量。为了解决这个问题,他们引入了一种“结构平衡”技术和一个完全平衡的对比目标,该目标在理论上可以在其最优状态下形成规则单纯形,从而在长尾识别和迁移学习任务中提高了性能。
-
地理空间AI模型显示捷径学习,阻碍跨灾害评估
一篇新发表在arXiv上的研究论文调查了用于灾害损失评估的地理空间基础模型中的捷径学习。研究发现,在熟悉灾害上训练的模型通常依赖事件或场景特征而非可迁移证据,导致应用于新灾害类型时准确性显著下降。研究人员在xView2和BRIGHT等数据集上测试了来自TerraMind和DINOv3等模型的嵌入,揭示了事件前图像甚至标注的建筑数量都具有高度预测性。该论文提出,特征转换,特别是监督对比学习和主成分分析,可以提高模型对未见灾害的泛化能力,…
-
领域适应的有效性取决于预训练模型的领域知识
一项新研究调查了在使用冻结的预训练语言模型骨干进行情感分析时,领域适应技术的有效性。该研究在 Qwen3-Embedding、RoBERTa-base 和 FinBERT 的不同骨干模型大小上评估了 DANN、MMD 和 SCL 等不同的适应方法。研究结果表明,对于电影评论情感分析等通用任务,显式领域适应的益处很小,但对于金融新闻等专业领域,特别是对于较小的通用模型,可以显著提高性能。研究还观察到,对抗性对齐方法可能会通过侵蚀现有结构…
-
研究将AI涌现延迟与表征结构形成联系起来
研究人员调查了涌现现象,即模型在完全记住训练数据后很长一段时间内仍然能够泛化。通过对单层Transformer的实验,他们因果性地证明了涌现发生所需的时间直接与任务特定表征结构的形成有关。注入与真实任务结构相关的先验显著加速了涌现,而错误或随机的结构则延迟甚至完全阻止了涌现,这表明模型的内部表征是理解这种延迟的关键。
-
新的OSCS-SupCon框架增强了对比学习中的特征解耦
研究人员开发了一个名为OSCS-SupCon的新框架,以改进监督对比学习。该方法通过引入基于sigmoid的对比损失并强制通用和风格特征子空间之间的正交性,解决了现有方法中的局限性,如负样本稀释和特征纠缠。实验表明,OSCS-SupCon的性能优于最先进的方法,在CUB200-2011数据集上实现了显著的准确性提升。
-
新的损失函数可加速监督学习中的神经坍塌
研究人员引入了新的方法NTCE和NONL,通过更有效地实现神经坍塌(NC)来改进监督分类。这些技术解决了现有范式(如交叉熵和监督对比学习)的局限性。通过将监督学习视为超球体上的原型学习,新的损失函数能够更快地收敛到NC,并在迁移学习和鲁棒性方面取得显著改进,尤其是在类别不平衡的情况下。
-
研究人员探索用于深度伪造音频检测的监督对比学习
研究人员探索了监督对比学习技术以改进深度伪造音频检测。他们的研究侧重于使用跨批次队列改变相似度度量(如余弦相似度和角度相似度)以及不同的负样本缩放方法。研究结果表明,在特定评估数据集上,使用延迟队列的余弦相似度取得了最佳性能,而角度相似度在减少对大型负样本集依赖方面显示出潜力。
-
对比学习提升AI模型鲁棒性和透明度
对比学习是一种机器学习技术,它创建一个嵌入空间,将相似的数据点聚集在一起,并将不相似的数据点分开。该方法可应用于监督和无监督场景,在传统交叉熵损失函数方面具有优势,尤其是在安全关键型应用中。研究表明,监督对比学习通过改进特征归因解释,可以带来更值得信赖和更透明的神经网络。