AlpaGasus

研究发现LLM数据审计不能保证非洲NLP的下游效用

一篇新发表在arXiv上的研究调查了低资源非洲语言合成数据选择方法的有效性。研究发现，普遍认为由LLM评估器高度评价的数据将提高下游模型性能的代理指标并不成立。在四种语言和两个任务中，基于LLM审计的数据质量排名与实际下游性能存在显著差异。该研究提出了一个反事实审计框架“V2”，它提高了评估标签的正确性，但仍不能保证下游效用，突显了合成数据评估需要在相同的保留集上报告审计和下游指标的必要性。