研究人员推出SynQuE，一个无需大量标注即可估计合成数据集质量的新框架。该方法根据合成数据在真实世界任务上的预期表现进行排名，在因成本或隐私问题导致真实数据稀缺时尤其有用。该方法利用代理指标，包括一种利用大型语言模型推理能力的新型指标LENS，来选择可最大化任务性能的合成数据。在情感分析和Text2SQL等各种任务上的实验表明，与无差别的数据选择相比，SynQuE代理可以显著提高准确性。 AI
影响 为低数据场景下的合成数据选择提供了一个实用的框架，有可能提高各种NLP和视觉任务的模型性能。
排序理由 这是一篇介绍合成数据集质量估计新框架和基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
