Fleiss' kappa

SynthAVE使用LLM竞技场进行可扩展的电子商务数据标注 · 跟踪2个来源

研究人员开发了SynthAVE，一种用于在工业规模上为电子商务属性提取生成和验证合成标签的新颖系统。这种方法解决了对大量产品类型、属性和所需语言进行人工标注的成本过高问题。SynthAVE利用多LLM竞技场框架，其中21种不同的评判配置评估样本，最终标签由多数投票决定。这种集成方法与人类专家达成高度一致（Cohen's \u03kappa = 0.92），证明了其在成本效益高、高质量数据验证方面的有效性。