Matryoshka property

新研究提出嵌入量化的可变比特分配

一篇新研究论文提出了一种用于嵌入量化的可变比特分配框架，打破了均匀比特分配的限制。该方法将嵌入划分为多个桶（buckets），并进行非均匀分配存储，在具有Matryoshka特性的嵌入的召回率方面显示出显著的改进。与均匀基线相比，可变分配策略在低比特情况下表现更优，对于乘积量化（Product Quantization）最高可提升8%，对于标量量化（Scalar Quantization）最高可提升18%。