SynthAVE

SynthAVE 使用 LLM 竞技场验证合成电子商务数据

研究人员开发了 SynthAVE，这是一个用于电子商务属性提取的大规模基准测试，利用了通过多 LLM 竞技场验证的合成数据生成。该系统解决了跨多种语言的广泛产品目录进行人工标注的高成本问题。通过采用 21 种不同的 LLM 配置进行评估，SynthAVE 在与人类专家的协议率方面达到了 95.2%，证明了聚合 LLM 判断在可扩展、高质量数据验证方面的有效性。