SynQuE

新的SynQuE方法可在无标注情况下估计合成数据集质量

研究人员推出SynQuE，一个无需大量标注即可估计合成数据集质量的新框架。该方法根据合成数据在真实世界任务上的预期表现进行排名，在因成本或隐私问题导致真实数据稀缺时尤其有用。该方法利用代理指标，包括一种利用大型语言模型推理能力的新型指标LENS，来选择可最大化任务性能的合成数据。在情感分析和Text2SQL等各种任务上的实验表明，与无差别的数据选择相比，SynQuE代理可以显著提高准确性。