NDCG@10
PulseAugur coverage of NDCG@10 — every cluster mentioning NDCG@10 across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的DealRank调度提高了LLM重排器的效率和速度
研究人员开发了一种名为DealRank的新调度方法,用于列表式LLM重排器,这些重排器用于对大量文档进行排序。现有方法可能效率低下,当过多的相关文档聚集在一起时,需要昂贵的修复调用。DealRank通过将文档候选者分成组并轮流推进它们来解决这个问题,类似于发牌。这种方法在一个简单的检索器模型下进行了分析,旨在最大限度地减少被淘汰的排名靠前的文档数量。实验表明,DealRank在六个LLM上的表现与最优调度相差不到0.1 nDCG@10…
-
新研究探讨用于比较推荐系统的隐私保护方法
一篇新研究论文探讨了在保护用户隐私的同时比较推荐系统的方法。该研究提出使用精确或差分隐私的物品计数来推断哪个推荐系统表现更好,即使无法将个人购买数据与推荐关联起来。研究表明,这些计数可以约束可能的购买分配并限定性能差异,从而识别出更优的推荐系统。在电子商务数据上的实验表明,与忽略计数相比,精确计数显著缩小了性能区间,大多数决策都倾向于推荐那些推广热门物品的推荐系统。
-
CascadeRec 系统在生产中将 LLM 推荐成本降低了 10%
一篇新的研究论文介绍 CascadeRec,一个专为多租户SaaS环境中的内容推荐设计的两级 LLM 重排系统。CascadeRec 在 AWS EKS 和 Google Kubernetes Engine 上投入生产使用,它使用一个轻量级模型处理所有请求,并将其中一部分请求升级到更强大、更昂贵的模型。这种方法已在生产中证明可将推理成本降低 10%,同时对延迟的影响极小,且未观察到质量下降。在 MovieLens-1M 和 Amazo…
-
新架构提出“组织皮层”以支持基于证据的判断
研究人员提出了一种新颖的四层架构,称为“共享组织皮层”,旨在管理和修订组织对证据的解释。该架构包括信号(Signals)、领域(Domains)、主张(Claims)和维度(Dimensions),旨在随着新证据的出现而保留判断的理由和地位。实验结果表明检索准确性显著提高,完整配置比基线方法将 nDCG@10 提高了 0.081。
-
新的 ProSearch 基准测试突显了科学协议检索的挑战
研究人员推出 ProSearch,这是一个旨在评估实验科学中多约束协议检索系统的新基准测试。该基准测试通过整合真实查询、具有依赖关系的复杂实验领域以及包括数值和否定要求在内的明确约束,解决了现有系统的局限性。在 ProSearch 上对 19 个检索系统进行的实验显示,即使是表现最好的模型,平均 nDCG@10 也仅为 0.290,这表明联合约束绑定是一个重大的瓶颈。
-
AgenticDS 框架在 HuDS-Bench 上将机器学习数据集搜索效率提高了 25.7%
研究人员推出 AgenticDS,一个旨在改进机器学习模型训练数据查找过程的新型框架。与传统的文本检索或自由形式代理不同,AgenticDS 采用一种受合约约束的方法,将语言模型的决策转换为类型化对象,以进行确定性代码执行。该方法将查询编译为类型化搜索计划,使用混合检索和图扩展执行它们,并在接受结果之前验证证据。与现有的混合方法相比,该框架在 HuDS-Bench 基准测试上的 NDCG@10 提高了 25.7%,与商业 LLM 代理…
-
新的RecRSI方法通过更快的反馈循环增强推荐系统
研究人员开发了一种名为RecRSI的新方法,通过递归自优化来改进推荐系统。该方法解决了当前流程中的挑战,例如编辑质量延迟反馈和不可靠的预训练信号。RecRSI利用短期试用的早期排名反馈来评分候选编辑,在Amazon数据集上的性能显著优于现有方法。
-
RAG 管道组件组合后的收益低于预期
一项关于检索增强生成(RAG)管道的最新研究表明,将多个有效的组件组合在一起,其收益之和并不等于各组件单独的收益之和。当三种表现最佳的 RAG 技术组合使用时,NDCG@10 的实际提升仅为 17.2%,远低于预测的 46.6%。这种组件效益重叠的现象导致管道成本更高、速度更慢,但并未带来预期的性能提升。研究强调,不同 RAG 阶段的收益可能无关,检索质量的提高并不一定能带来更好的答案忠实度。
-
新方法增强AI检索嵌入压缩
研究人员开发了一种名为相关性引导残差校准(RRC)的新方法,以改进密集检索嵌入的光谱压缩。该技术利用相关性判断来优化光谱权重,允许在保持整体光谱趋势的同时调整各个方向。实验表明,RRC在各种数据集和编码器上显著提高了检索效果,改善了存储和准确性之间的权衡。
-
新的CA-HNM框架通过结构化领域模型增强稠密检索
研究人员开发了CA-HNM,一个通过整合结构化领域知识来改进稠密检索模型的新颖框架。该方法超越了传统的硬负例挖掘,利用从领域模型派生的确定性不兼容规则来识别更相关的负例。在MOOCCubeX和Course-Skill Atlas数据集上的评估表明,CA-HNM可以提高检索性能,特别是与三元组损失结合使用时,这表明约束感知选择的有效性受到训练目标和负例池组成的影響。
-
新知识蒸馏方法增强生成式推荐系统
研究人员为利用语义ID的生成式推荐系统开发了一种新颖的知识蒸馏技术。该方法在新的arXiv论文中有所详述,通过引入两个互补的目标:物品分布匹配(IDM)和代码边际匹配(CMM),解决了物品空间和代码空间之间知识迁移的挑战。IDM重建并对齐物品分布,而CMM匹配源自教师物品概率的代码边际。实验表明,IDM将Recall@10提高了15.39%,CMM将NDCG@10提高了8.28%,显著优于现有的最先进方法。
-
研究发现:System One 模型并非比微调替代品更优的重排器
一篇新发表在arXiv上的研究论文表明,“System One”模型(也称为决策模型)在作为重排器方面,并不比专门为重排任务微调的模型更优越。该研究在多个数据集上测试了各种Qwen骨干模型,发现重排器微调的性能始终优于决策微调,尤其是在参数量高达90亿的模型上。研究表明,虽然决策模型在某些场景下具有校准优势,但这并不能弥补其整体排名性能较差的不足。
-
研究人员发现,文本嵌入器的量化校准影响不一
研究人员调查了训练后量化(PTQ)校准对文本嵌入器的影响,发现校准的“剂量”或模型的函数位移是关键因素。在三种嵌入器(e5-base-v2、BGE-M3、EmbeddingGemma-300m)的4位量化下,校准结果差异巨大,从显著提升到灾难性退化不等。该研究还引入了一种验证门控弃权规则,该规则成功避免了有害的选择,同时保留了大部分有益的更新,展示了安全与机遇之间的权衡。
-
LASAGNA框架揭示了跨规模的RAG组合性问题 · 跟踪2个来源
一个名为LASAGNA的新开源框架已被引入,以更现实地评估检索增强生成(RAG)管道。研究发现,结合多种RAG技术并不总是能产生其个体改进的总和,一些组合显示出的收益远低于预期。此外,优化检索质量可能会对答案的忠实度产生负面影响,并且随着文档语料库大小的增加,最佳RAG配置可能会发生巨大变化。
-
新AI方法通过结构对齐历史学习增强生成式推荐
研究人员开发了结构对齐历史学习(SAHL),一种解决当前生成式推荐方法局限性的新方法。SAHL改进了目录项的语义ID创建,并增强了从用户交互历史预测下一个ID的能力。通过引入语义残差平衡量化(SRBQ),SAHL建立了从token到item的层级结构,实现了多粒度历史重建。该方法在Amazon评论数据集上表现出显著改进,优于现有技术。
-
Cohere 声称 Embed 5 Fast 在 95% 的数据集上领先 Google 的 EmbeddingGemma 2
Cohere 声称其 Embed 5 Fast 模型在性能上优于近期强大的嵌入模型,包括 Google 的 EmbeddingGemma 2。该公司声称在使用其专有的 RCP-nDCG@10 方法论进行评估时,Embed 5 Fast 在 163 个数据集中的 95% 以上的数据集上表现领先。Cohere 还确认 RCP-nDCG 是他们自己开发的方法论,并且他们在标准的 nDCG@10 指标上继续保持领先。
-
新的推荐系统路由方法以牺牲顶部项目准确性为代价提高了召回率
一篇新的研究论文探讨了候选依赖的残差路由在顺序推荐系统中的有效性。研究发现,虽然这种方法没有显著改变NDCG@10这一主要指标,但它通过将更多相关项目排入前十名推荐中来提高了召回率。然而,这以降低最顶部项目的排名作为代价,收益集中在第六到第十位,并且对于相关项目在用户历史记录中靠后的查询,性能有所下降。
-
Genetic AI Sorting Shows Bias Robustness Over Learned Rankers
一篇新的研究论文探讨了遗传多标准排序方法与学习排序器相比在对抗偏见方面的鲁棒性。研究发现,不依赖标签的遗传 AI 方法在训练标签被污染时,仍能保持一致的偏见和效用曲线。相比之下,LightGBM 和 XGBoost 等学习排序器在污染水平升高时,与被污染标签的相关性增加。研究结果表明,当避免偏见的代理或被污染的标签至关重要时,遗传排序是优化特定属性的可行架构选择。
-
组件感知反馈提升LLM程序进化效率
研究人员开发了一种名为组件感知反馈的新方法,以提高LLM指导的进化搜索在程序开发中的效率。该技术记录了对程序组件所做的更改及其对适应度指标的影响,为未来的变异提供了更清晰的历史记录。该方法在十二个Bright数据集的LLM重排任务上进行了测试,显著缩短了搜索时间,提高了准确性,同时降低了每次查询的token使用量。
-
新方法提高了视觉文档重排的效率和准确性
研究人员开发了两种新颖的高效视觉文档重排方法:RenderRank 和 RidgeRank。RenderRank 利用从文档图像中提取的压缩视觉标记来学习查询相关的评分,显著减少了输入标记数量,并在多个数据集上优于基于文本的重排器。RidgeRank 通过融合检索器分数和重排器分数并采用浅层线性读出,提高了效率,以一小部分计算成本实现了接近交叉编码器的准确性。这两种方法都旨在提高多模态语言模型在文档检索任务中重排的速度和准确性。