mean reciprocal rank
PulseAugur coverage of mean reciprocal rank — every cluster mentioning mean reciprocal rank across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架使用 BRP@k 和 MRR@k 评估 LLM 品牌推荐
开发了一个新框架来评估大型语言模型（LLM）在推荐品牌方面的表现，解决了生成多样化响应和缺乏明确候选集等挑战。该框架引入了品牌推荐概率（BRP@k）和平均倒数排名（MRR@k）等指标，通过重复采样和竞争集独立定义来评估推荐。初步研究结果表明，LLM 经常忽略知名品牌，并且推荐的突出性与更广泛的市场可见性信号（如搜索兴趣）相关，而不是传统的品牌受欢迎程度。
-
检索评估指标详解：P@K、MRR、NDCG
本文解释了用于评估检索系统性能的关键检索评估指标，包括 Precision@K (P@K)、Recall@k、Mean Reciprocal Rank (MRR) 和 Normalized Discounted Cumulative Gain (NDCG@K)。文章强调了这些指标如何捕捉排名的不同方面，并且有时会产生冲突的结果。该教程还提供了 Python 代码来构建一个评估框架，用于计算这些指标，模拟不同检索架构之间的比较，并为部署…
-
新研究统一了知识图谱补全（KGC）的解释，并解决了图探索的挑战
研究人员正在探索知识图谱补全（KGC）和探索的新方法。一篇论文提出了一个统一的后验解释分类法，以提高 KGC 的可复现性和评估性。另一篇论文介绍了模型图归纳学习（MGIL），以捕捉全局图结构，实现更准确的链接预测。此外，一项研究确定了阻碍非专业用户与不熟悉知识图谱交互的“初始探索问题”（IEP），并提出了新的界面设计。最后，提出了 TRACE-KG 框架，用于上下文丰富的知识图谱生成，绕过了预定义的模式。