NDCG
PulseAugur coverage of NDCG — every cluster mentioning NDCG across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的路由方法提升跨语言编码器性能
研究人员开发了一种查询感知路由系统，以增强编码器的跨语言检索性能。该方法利用一个低秩适配器，通过 LoRA 技术在 Nemotron-3-Embed-1B 模型上进行训练，以处理不同语言的查询，同时保持同种语言的有效性。SampoTron 适配器应用于英语、芬兰语和瑞典语方向时，在金融基准测试中检索质量提高了 20.9%，证明了其在不损害现有文档嵌入的情况下实现选择性跨语言专业化的能力。
-
LLM偏好生成与校准研究显示模型不一致性及改进方法
近期研究探讨了大型语言模型（LLM）生成偏好的可靠性和校准性。一项研究发现，虽然LLM在偏好上表现出自洽性，但在不同模型和规模之间存在显著的不一致性，表明提示词措辞的影响不如模型选择大。另一篇论文证明，较小的、冻结的模型可以生成比自身生成更有效的“拒绝”样本用于偏好蒸馏，从而降低计算成本。第三项研究引入了基于评分卡的偏好（Rubric-Calibrated Preferences, RCP），以提高LLM在信息检索中判断的质量和跨查询…
-
RAG系统通过查询聚类自适应检索深度以提高准确性
研究人员开发了一个用于检索增强生成（RAG）系统自适应检索深度的新颖框架。该方法通过根据查询复杂性动态调整文档数量，解决了固定Top-k文档检索的局限性。通过离线聚类查询并将推荐的检索深度分配给每个集群，系统可以在运行时提高准确性并降低计算成本。初步测试显示，对于低复杂度查询，F1分数提高了36%，令牌使用量减少了14%，同时不牺牲准确性。
-
Spruce系统增强了RAG的私有外包检索
一篇新的研究论文介绍了Spruce，一个旨在增强检索增强生成（RAG）外包检索的隐私性和可扩展性的系统。Spruce通过与双服务器多方计算协议共同设计紧凑型二进制代码表示，实现了显著的加速，比先前的工作快22.9倍。这种方法用高效的汉明距离计算取代了计算密集型的嵌入评分，同时还结合了私有聚类修剪，以进一步减少处理负载并提高吞吐量。
-
自主代理显著提升推荐系统性能并揭示评估缺陷 · 跟踪2个来源
两篇新研究论文探讨了使用自主代理来改进推荐系统。第一篇论文RecEvolve详细介绍了一个代理系统，该系统能够自主管理生产环境中的双塔检索模型的整个研究生命周期，在NDCG方面带来了约20%的显著相对提升，用户满意度提高了+3.77%。该系统还通过发现奖励黑客捷径，凸显了标准评估协议中的漏洞。第二篇论文介绍了AgentMMRec，这是一个包含两个代理的框架：一个集成代理，从多模态内容和用户行为中推断用户偏好和物品属性；一个利用代理，利…
-
新指标RDQ评估多答案检索系统
研究人员引入了一种名为Rank-Deviation Quality (RDQ) 的新评估指标，专为检索和排序系统设计。RDQ可适应具有不同数量正确答案的查询，从单个结果到多个有效选项。它通过考虑检索到的参考项的位置和排序偏差的惩罚来对候选排名进行评分，并设有参数来控制对错误排序的容忍度。RDQ基于序数排名运行，适用于使用成对或列表式判断的标注者，并且它同时考虑了返回的项及其顺序。
-
新研究应对轮播推荐评估挑战 · 已追踪 2 个来源
两篇新提交至 arXiv 的研究论文解决了轮播界面中推荐系统评估的挑战。第一篇论文专注于开发一个点击建模框架，该框架考虑了轮播独特的二维布局，旨在改进从日志交互数据进行的策略评估。第二篇论文重新审视并重构了 N2DCG 指标，提出了改进建议，以更好地反映用户浏览行为，并基于实证数据和眼动追踪研究准确预测轮播布局的性能。
-
评估 RAG 系统：指标和分层工具
本文讨论了评估检索增强生成 (RAG) 系统的实用方法，超越了主观评估。它强调了通过使用 Precision@k、Recall@k、MRR 和 nDCG 等特定指标来区分检索失败和生成失败的重要性。作者提出了一个分层评估工具，其中包括确定性检查和 LLM 作为裁判的方法，以确保对 RAG 性能进行稳健且可重现的评估。
-
新的专家跟随策略改进金融资产推荐
研究人员引入了一个名为专家跟随策略的新框架，用于金融资产推荐系统。该方法旨在克服现有方法中困扰的提高投资回报率（ROI）和确保用户偏好一致性（nDCG）之间的权衡。通过识别基于历史ROI表现最佳的投资者，并根据购买频率加权推荐他们购买的资产，该策略在真实交易数据的实验中同时在ROI和nDCG方面取得了统计学上的显著改进。
-
检索评估指标详解：P@K、MRR、NDCG
本文解释了用于评估检索系统性能的关键检索评估指标，包括 Precision@K (P@K)、Recall@k、Mean Reciprocal Rank (MRR) 和 Normalized Discounted Cumulative Gain (NDCG@K)。文章强调了这些指标如何捕捉排名的不同方面，并且有时会产生冲突的结果。该教程还提供了 Python 代码来构建一个评估框架，用于计算这些指标，模拟不同检索架构之间的比较，并为部署…
-
Self-EvolveRec框架通过LLM反馈增强推荐系统
研究人员开发了Self-EvolveRec，一个旨在通过解决传统设计方法的局限性来改进推荐系统的新框架。与依赖固定搜索空间或标量指标的现有方法不同，Self-EvolveRec结合了用户模拟器进行定性反馈和模型诊断工具进行内部验证。该系统还采用模型协同进化策略，以确保评估标准与推荐架构同步适应。实验表明，Self-EvolveRec在推荐性能和用户满意度方面均优于当前最先进的方法。
-
新的SCOReD框架优化了推荐模型的思维链蒸馏
研究人员开发了一个名为SCOReD（学生感知思维链优化用于推荐蒸馏）的新框架，以改进用于推荐系统的小型语言模型的训练。该方法通过将大型教师模型的推理轨迹解析为类型化片段，并利用学生模型的注意力来评估其重要性，从而优化推理轨迹。SCOReD动态选择每个片段的编辑，在保留关键细节的同时修剪冗余信息，从而为学生提供更清晰的学习信号。这种方法在NDCG方面提高了1.56%，在Recall@5方面提高了1.9%，同时还将推理长度减少了27.3%。
-
新的SCOReD框架优化LLM推理轨迹以用于推荐系统
研究人员开发了一个名为SCOReD（Student-Aware CoT Optimization for Recommendation Distillation）的新框架，旨在提高在推荐系统中利用大型模型（教师）的推理轨迹来训练小型语言模型（学生）的效率和有效性。SCOReD通过将教师轨迹解析为类型化片段，并利用学生模型的注意力来评估其重要性，解决了大型教师模型推理不确定性和分布外轨迹等挑战。该框架动态选择每个片段的编辑，修剪冗余信息…
-
通过混合搜索和性能指标提高 RAG 的准确性
本文探讨了提高检索增强生成 (RAG) 系统准确性的技术，重点关注改进相关块的检索。文章详细介绍了混合搜索等方法，该方法将向量相似性与 BM25 等关键字匹配相结合，以及使用元数据过滤来缩小搜索范围。文章还讨论了分块策略的重要性，并介绍了 recall@k、precision@k、MRR 和 nDCG 等关键指标，用于对 RAG 性能进行量化评估。
-
新的生存分析方法提高了器官分配效率
研究人员开发了一种新的面向决策的学习方法用于生存分析，旨在更好地将预测模型与其下游分配任务对齐。该方法优化了归一化折损累积增益（NDCG），而不是传统的C指数等指标，这可能在高风险场景（如器官分配）中导致次优结果。通过将此框架应用于历史心脏移植数据，该方法显著提高了NDCG得分，有可能每年带来可观的生命年收益。
-
研究人员探索查询性能预测以优化 RAG 管道
研究人员探索了使用查询性能预测 (QPP) 来优化检索增强生成 (RAG) 管道，方法是选择最有效的查询变体。这种方法旨在减少执行每种可能的查询重构所带来的计算成本。在 TREC-RAG 数据集上的实验揭示了检索相关性与生成保真度之间的差距，表明最大化排名指标的查询变体并不总是能产生最佳的生成答案。然而，QPP 仍然可以识别能够提高整体 RAG 质量的变体，并且轻量级的预检索预测器被证明是高效的。
-
推荐系统应优先考虑惊喜度而非纯粹的准确性以提高用户参与度。
准确性并非评估推荐系统的唯一指标，惊喜度——即愉快地给用户带来惊喜的能力——对于长期用户参与度也至关重要。虽然NDCG和MAP等准确性指标广泛可用且易于学习，但惊喜度指标却很少见，这使得它们更难实施和评估。通过推广长尾产品来纳入惊喜度，可以改善商品组合健康度和卖家多样性，从而形成用户参与度和数据收集的良性循环。