MRR@k

新框架使用 BRP@k 和 MRR@k 评估 LLM 品牌推荐

开发了一个新框架来评估大型语言模型（LLM）在推荐品牌方面的表现，解决了生成多样化响应和缺乏明确候选集等挑战。该框架引入了品牌推荐概率（BRP@k）和平均倒数排名（MRR@k）等指标，通过重复采样和竞争集独立定义来评估推荐。初步研究结果表明，LLM 经常忽略知名品牌，并且推荐的突出性与更广泛的市场可见性信号（如搜索兴趣）相关，而不是传统的品牌受欢迎程度。