Nick Whiteley 的一篇新论文探讨了对比学习中相似性搜索的泛化能力，特别关注 InfoNCE 损失函数。研究表明，在使用 k 个负样本时，InfoNCE 的总体风险与预期的交叉熵度量密切相关。该度量量化了使用学习到的嵌入在未见数据上执行的相似性搜索与使用正样本生成器的隐式相似性进行的理想化搜索之间的偏差。该研究还引入了一个新颖的 InfoNCE 损失连续性界限，有助于在负样本数量增加时稳定泛化误差。 AI
影响 为对比学习方法的泛化特性提供了理论见解，可能为未来的模型训练策略提供信息。
排序理由 该集群包含一篇在 arXiv 上发表的学术论文，详细介绍了新的研究发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.09405v1 Announce Type: cross Abstract: Similarity search is a primary application of embedding models trained by contrastive learning. For one of the most popular contrastive learning loss functions, InfoNCE, we show that the population risk with $k$ negative samples i…
Similarity search is a primary application of embedding models trained by contrastive learning. For one of the most popular contrastive learning loss functions, InfoNCE, we show that the population risk with $k$ negative samples is $O(1/k)$ close to an expected cross-entropy whic…