MAVE benchmark

评估方法主导 LLM 在产品属性提取中的性能

一项发表在 arXiv 上的新研究调查了评估方法对大型语言模型（LLM）在产品属性提取方面性能的影响。研究发现，评估方法的选择和真实数据（ground truth）的质量，其影响远远超过 LLM 模型本身和提示策略的影响。具体而言，研究指出，评估方法对 F1 分数方差的影响是模型选择的 23 倍，并且所使用的基准数据集的真实数据存在显著的噪声率。