Matryoshka Representation Learning
PulseAugur coverage of Matryoshka Representation Learning — every cluster mentioning Matryoshka Representation Learning across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究提出嵌入量化的可变比特分配
一篇新研究论文提出了一种用于嵌入量化的可变比特分配框架，打破了均匀比特分配的限制。该方法将嵌入划分为多个桶（buckets），并进行非均匀分配存储，在具有Matryoshka特性的嵌入的召回率方面显示出显著的改进。与均匀基线相比，可变分配策略在低比特情况下表现更优，对于乘积量化（Product Quantization）最高可提升8%，对于标量量化（Scalar Quantization）最高可提升18%。
-
Pathryoshka框架压缩病理模型，提升可及性
研究人员开发了Pathryoshka，一个用于压缩大型病理基础模型的新框架。这种受RADIO蒸馏和Matryoshka表示学习启发的、多教师知识蒸馏方法，在保持与大型模型相当的性能的同时，显著减小了模型尺寸（86-92%）。Pathryoshka的表现也优于现有的单教师蒸馏方法，中位数准确率提升了7.0。该框架能够适应嵌入维度，从而实现高效的本地部署，使更广泛的社区能够获得先进的计算病理学。
-
Kairos框架通过鲁棒学习技术增强新闻推荐
一篇新研究论文介绍了Kairos，一个旨在改进新闻推荐系统的框架，特别是在交互数据有限和内容生命周期短的场景下。Kairos采用基于Cholesky分解的LinUCB方法来保持数值鲁棒性，并防止协方差矩阵出现问题。Matryoshka表示学习（MRL）的集成也解决了推理延迟问题，从而在不牺牲排序精度的情况下实现了显著的效率提升。
-
Matryoshka Hypencoder 提高了检索效率，支持可调的 Q-Net 大小
研究人员开发了 Matryoshka Hypencoder，这是 Hypencoder 检索方法的一种扩展。这种新方法结合了 Matryoshka Representation Learning，支持多种 Q-Net 大小，从而能够在检索效果和效率之间进行可调的权衡。Matryoshka Hypencoder 在领域内表现出相当的效果，同时显著减少了活跃参数，从而大幅提高了评分吞吐量，为实际部署铺平了道路。
-
新的基准测试评估葡萄牙语文本嵌入模型，揭示性能差距
发布了两个新的基准测试 MTEB-PT 和 MTEB-PT（巴西葡萄牙语），专门用于评估葡萄牙语的文本嵌入模型。这些基准测试解决了现有评估中葡萄牙语代表性不足的问题，而现有评估通常依赖于翻译的数据集或多语言平均值。新的基准测试包含大量葡萄牙语原生任务，涵盖语义文本相似性、分类、检索和重新排序等多个类别。初步评估表明，模型性能高度依赖于任务，并且在多语言基准测试上的排名并不能可靠地预测葡萄牙语特定性能，这凸显了进行原生语言评估的必要性。
-
新的嵌套学习方法创建与任务对齐的表示基
研究人员引入了一种名为全前缀嵌套表示学习（MRL）的新方法，以解决学习到的表示对旋转变换不变且维度可互换的问题。该技术旨在创建一个与任务对齐的特权基，该基不同于基于方差或正则化的排序。研究证明，在线性设置中，全前缀MRL可以使用共享统计信息有效地恢复有序的主方向。实证研究表明，MRL建立了与任务信号对齐的一致的每维度结构，其中坐标的大小表明了它们的信息量。
-
ML-Embed框架提供高效、多语言的文本嵌入
研究人员推出ML-Embed，一个旨在创建更具包容性和效率的文本嵌入的新框架。该框架名为3-Dimensional Matryoshka Learning，解决了计算成本问题，将语言覆盖范围扩展到低资源语言，并通过发布所有模型、数据和代码来促进透明度。评估表明，ML-Embed模型在众多基准测试中取得了最先进的结果，尤其是在不太常见的语言方面，为公平的AI发展提供了蓝图。
-
Google 的 Gemini Embedding 2 提高效率；提议 AI 计算期货市场
Google 通过引入 Matryoshka Representation Learning (MRL) 来增强其 Gemini Embedding 2 模型。这一进步允许动态向量截断，提高了候选匹配的速度，同时保持了精度。此外，更新后的模型通过更小的存储需求降低了数据库成本。
-
MIPIC框架增强了NLP的嵌套表示学习
研究人员推出了一种新颖的嵌套表示学习（MRL）训练框架MIPIC。MIPIC旨在创建结构一致且语义紧凑的嵌套嵌入，以应对在各种计算预算下表现良好的嵌入构建挑战。该框架利用自蒸馏内关系对齐（SIA）来确保不同嵌入维度之间的一致性，并利用渐进信息链（PIC）来巩固模型深度的语义。实验表明，MIPIC训练的表示在各种容量下都具有竞争力，在极低维度下有显著提升。
-
OpenAI vs. Gemini 嵌入式模型：成本、性能和多模态
OpenAI 的 text-embedding-3-large 和 Google 的 Gemini Embedding 2 在生产环境中的使用进行了比较。OpenAI 的模型因其较低的成本和纯文本的关注点而受到关注，而 Gemini 则以更高的价格和地区限制提供了多模态功能，包括图像和音频嵌入。Gemini 独特的“任务类型”功能允许更细致的嵌入生成，可能提高搜索准确性。