Residual Quantization
PulseAugur coverage of Residual Quantization — every cluster mentioning Residual Quantization across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探索生成式检索中的语义ID空间和解码 · 跟踪5个来源
研究人员正在探索生成式信息检索（GIR）的新方法，这是一种将文档检索从传统的“检索-排序”方法转变为序列到序列生成范式的技术。两篇论文研究了GIR中文档标识符（DocIDs）的设计和有效性。一项研究解构了范式、标识符类型和解码策略对检索性能的影响，发现仅解码就显著影响结果，并且随机标识符可以保留比更复杂标识符多得多的性能。另一篇论文系统地研究了语义ID空间，提出了一个统一的产品量化（PQ）和残差量化（RQ）框架，并引入了无训练指标来评…
-
残差量化通过减少内存来增强上下文土匪算法
研究人员引入了残差量化（RQ），这是一种新颖的表示层，旨在增强上下文土匪算法。RQ将连续上下文映射到多个级别的离散分配，从而实现加性土匪算法，该算法提供非线性表达能力，同时显着降低内存需求。在对13个数据集的评估中，RQ变体在11个数据集上优于其非RQ对应物，通常在内存使用量大大减少的情况下，实现了与XGBoost和神经基线相当或更好的性能。
-
新框架利用丢弃的量化数据增强生成式检索
研究人员开发了一个名为残差轨迹蒸馏（ResTD）的新框架，以改进生成式检索系统。该方法旨在利用残差量化过程中通常在标准检索训练中被丢弃的信息。通过蒸馏这些丢弃的信息，ResTD 增强了检索过程，并在多语言电子商务检索任务中显示出持续的改进。该框架也适用于生成式推荐系统。
-
新算法增强了用于生成检索的语义ID · 跟踪2个来源
研究人员开发了一种新的语义ID生成算法，该算法通过保留原始嵌入空间的结构来改进现有方法。这种方法利用自下而上的聚类来维护局部结构，从而提高语义ID的质量及其在下游生成检索任务中的有效性。该算法旨在确保生成的标识符既是唯一的，又能为各种应用捕获有价值的语义信息。
-
TARQ框架通过残差量化提升推荐系统预排序性能
研究人员开发了TARQ，一个用于推荐系统的新预排序框架，旨在提高效率和有效性。TARQ通过残差量化（Residual Quantization）整合了类似目标注意力（Target Attention）的架构，将先进的建模能力引入预排序阶段。这项创新已成功部署在淘宝上，服务数百万用户，并展示了显著的性能提升。
-
新的UniSID框架通过端到端SID生成改进广告推荐
研究人员开发了UniSID，一个用于在生成式推荐系统中生成语义ID（SIDs）的新颖框架，特别适用于广告推荐。这种新方法通过端到端联合优化嵌入和SID，解决了现有方法（如Residual Quantization）的局限性，防止了语义退化和误差累积。UniSID还采用了一种多粒度对比学习策略和一种基于摘要的广告重建机制来捕捉更细粒度的语义。实验表明，在下游广告场景中，与当前最先进的方法相比，UniSID的命中率指标提高了4.62%。