研究人员开发了一种新的方法DIVE，用于压缩大型语言模型的高维嵌入，以降低向量搜索系统的存储和计算成本。DIVE采用自限制三元组损失来防止预训练嵌入的过度扰动，并采用对比损失，将嵌入的多个投影视为隐式视图。该方法旨在克服现有压缩方法中常见的过拟合问题，尤其是在标记数据稀缺的情况下，并在多个数据集上展示了优于先前技术的性能。 AI
影响 降低了LLM嵌入的计算和存储开销，可能支持更高效和可扩展的向量搜索应用。
排序理由 该集群包含一篇详细介绍新嵌入压缩方法的论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.20689v1 Announce Type: cross Abstract: High-dimensional embeddings from large language models impose significant storage and computational costs on vector search systems. Recent embedding compression methods, including Matryoshka-Adaptor (EMNLP 2024), Search-Adaptor (A…
High-dimensional embeddings from large language models impose significant storage and computational costs on vector search systems. Recent embedding compression methods, including Matryoshka-Adaptor (EMNLP 2024), Search-Adaptor (ACL 2024), and SMEC (EMNLP 2025), enable dimensiona…