English(EN) What Cosine Similarity of Label Representations Can and Cannot Tell us

标签表示的余弦相似度无法洞察 softmax 分类器的概率

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-02 04:00

研究人员证明，标签表示的余弦相似度（常用于衡量模型相似度）并不能提供关于 softmax 分类器分配的概率的信息。该研究证明，对于任何给定的非嵌入（unembeddings），都可以构建一个模型，该模型为所有输入分配相同的概率，同时将余弦相似度改变为 1 或 -1。虽然余弦相似度可以定义 sigmoid 分类器的标签组合，但它需要 softmax 分类器所有成对的非嵌入差异之间的余弦相似度才能预测排名，这表明在没有分类器上下文的情况下解释余弦相似度是具有误导性的。 AI

影响阐明了评估模型表示的常用指标的局限性，可能指导模型可解释性方面的未来研究。

排序理由该集群包含一篇详细介绍新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

Beatrix Miranda Ginn Nielsen

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Beatrix M. G. Nielsen, Andreas Grivas · 2026-06-02 04:00

What Cosine Similarity of Label Representations Can and Cannot Tell us

arXiv:2603.29488v2 Announce Type: replace Abstract: Cosine similarity is often used to measure the similarity of vector representations of neural network models. However, the cosine similarity of representations is not guaranteed to tell us anything about model probabilities. In …

报道来源 [1]

What Cosine Similarity of Label Representations Can and Cannot Tell us

相关话题