mean reciprocal rank
PulseAugur coverage of mean reciprocal rank — every cluster mentioning mean reciprocal rank across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架Bridge-LP利用GNN和LM推进链接预测
研究人员推出Bridge-LP，一个旨在增强文本属性图链接预测能力的新型框架。该框架通过整合三个关键组件，有效地结合了图神经网络（GNNs）和语言模型（LMs）：用于稳健LM训练的跳跃连接，用于编码邻域信息的压缩嵌入，以及用于降低计算复杂度的缓存嵌入训练策略。Bridge-LP在九个数据集上展示了卓越的性能，平均倒数排名（MRR）提升高达43.06%，为整合语言和图数据设定了新标准。
-
开发者分享 7 点 RAG 评估清单，确保生产就绪
一位开发者概述了一个用于评估检索增强生成（RAG）系统上线前部署的综合清单。该清单强调要超越简单的演示成功，进行七个关键领域的严格测试。这些领域包括使用 Recall@K 等指标评估检索准确性，使用 Precision@K 和 NDCG@K 评估相关文档的排名，并确保生成答案忠实于源上下文。评估还涵盖了系统优雅处理缺失信息的能力，回答需要多个文档的复杂问题，在更改后保持稳定性能，以及允许可复现的故障分析。
-
新框架使用 BRP@k 和 MRR@k 评估 LLM 品牌推荐
开发了一个新框架来评估大型语言模型（LLM）在推荐品牌方面的表现，解决了生成多样化响应和缺乏明确候选集等挑战。该框架引入了品牌推荐概率（BRP@k）和平均倒数排名（MRR@k）等指标，通过重复采样和竞争集独立定义来评估推荐。初步研究结果表明，LLM 经常忽略知名品牌，并且推荐的突出性与更广泛的市场可见性信号（如搜索兴趣）相关，而不是传统的品牌受欢迎程度。
-
检索评估指标详解：P@K、MRR、NDCG
本文解释了用于评估检索系统性能的关键检索评估指标，包括 Precision@K (P@K)、Recall@k、Mean Reciprocal Rank (MRR) 和 Normalized Discounted Cumulative Gain (NDCG@K)。文章强调了这些指标如何捕捉排名的不同方面，并且有时会产生冲突的结果。该教程还提供了 Python 代码来构建一个评估框架，用于计算这些指标，模拟不同检索架构之间的比较，并为部署…
-
新研究统一了知识图谱补全（KGC）的解释，并解决了图探索的挑战
研究人员正在探索知识图谱补全（KGC）和探索的新方法。一篇论文提出了一个统一的后验解释分类法，以提高 KGC 的可复现性和评估性。另一篇论文介绍了模型图归纳学习（MGIL），以捕捉全局图结构，实现更准确的链接预测。此外，一项研究确定了阻碍非专业用户与不熟悉知识图谱交互的“初始探索问题”（IEP），并提出了新的界面设计。最后，提出了 TRACE-KG 框架，用于上下文丰富的知识图谱生成，绕过了预定义的模式。