研究人员调查了低维表示（通常在1000维左右）为何不会阻碍现代基于嵌入的检索模型扩展到数万亿数据点。他们的研究侧重于最大间隔嵌入，并指出，通过一个取决于数据大小对数维度的维度，可以实现接近最优的间隔。这些发现解决了先前关于k稀疏行的设置，并表明Sigmoid损失在生成大间隔嵌入方面优于InfoNCE。 AI
影响 这项研究为检索模型的扩展性提供了理论见解，可能影响未来大规模人工智能应用的模型设计。
排序理由 该集群包含一篇在arXiv上发表的学术论文，讨论了机器学习模型的理论和经验方面。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.23556v1 Announce Type: new Abstract: Why does the low dimensionality of representations, typically $d\approx 1000$, not prevent modern embedding-based retrieval models from scaling to billions, or even trillions, of data points? To answer this question, we study maxima…
Why does the low dimensionality of representations, typically $d\approx 1000$, not prevent modern embedding-based retrieval models from scaling to billions, or even trillions, of data points? To answer this question, we study maximal-margin embeddings in the following retrieval m…