Supervised contrastive learning with multiple positive examples
PulseAugur coverage of Supervised contrastive learning with multiple positive examples — every cluster mentioning Supervised contrastive learning with multiple positive examples across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
领域适应的有效性取决于预训练模型的领域知识
一项新研究调查了在使用冻结的预训练语言模型骨干进行情感分析时，领域适应技术的有效性。该研究在 Qwen3-Embedding、RoBERTa-base 和 FinBERT 的不同骨干模型大小上评估了 DANN、MMD 和 SCL 等不同的适应方法。研究结果表明，对于电影评论情感分析等通用任务，显式领域适应的益处很小，但对于金融新闻等专业领域，特别是对于较小的通用模型，可以显著提高性能。研究还观察到，对抗性对齐方法可能会通过侵蚀现有结构…
-
研究将AI涌现延迟与表征结构形成联系起来
研究人员调查了涌现现象，即模型在完全记住训练数据后很长一段时间内仍然能够泛化。通过对单层Transformer的实验，他们因果性地证明了涌现发生所需的时间直接与任务特定表征结构的形成有关。注入与真实任务结构相关的先验显著加速了涌现，而错误或随机的结构则延迟甚至完全阻止了涌现，这表明模型的内部表征是理解这种延迟的关键。
-
新的OSCS-SupCon框架增强了对比学习中的特征解耦
研究人员开发了一个名为OSCS-SupCon的新框架，以改进监督对比学习。该方法通过引入基于sigmoid的对比损失并强制通用和风格特征子空间之间的正交性，解决了现有方法中的局限性，如负样本稀释和特征纠缠。实验表明，OSCS-SupCon的性能优于最先进的方法，在CUB200-2011数据集上实现了显著的准确性提升。
-
新的损失函数可加速监督学习中的神经坍塌
研究人员引入了新的方法NTCE和NONL，通过更有效地实现神经坍塌（NC）来改进监督分类。这些技术解决了现有范式（如交叉熵和监督对比学习）的局限性。通过将监督学习视为超球体上的原型学习，新的损失函数能够更快地收敛到NC，并在迁移学习和鲁棒性方面取得显著改进，尤其是在类别不平衡的情况下。
-
研究人员探索用于深度伪造音频检测的监督对比学习
研究人员探索了监督对比学习技术以改进深度伪造音频检测。他们的研究侧重于使用跨批次队列改变相似度度量（如余弦相似度和角度相似度）以及不同的负样本缩放方法。研究结果表明，在特定评估数据集上，使用延迟队列的余弦相似度取得了最佳性能，而角度相似度在减少对大型负样本集依赖方面显示出潜力。
-
对比学习提升AI模型鲁棒性和透明度
对比学习是一种机器学习技术，它创建一个嵌入空间，将相似的数据点聚集在一起，并将不相似的数据点分开。该方法可应用于监督和无监督场景，在传统交叉熵损失函数方面具有优势，尤其是在安全关键型应用中。研究表明，监督对比学习通过改进特征归因解释，可以带来更值得信赖和更透明的神经网络。