一篇新研究论文探讨了可验证奖励强化学习 (RLVR) 数学语料库的数据去污方法的有效性和成本。该研究针对六个基准审计了十六个开放 RLVR 数学语料库,并评估了八种数据清理策略。结果表明,许多现有策略,特别是那些使用余弦阈值的语义匹配策略,会导致高比例的错误移除,即合法训练数据被丢弃。该论文提出,现有的法官裁定策略在精确率和召回率之间取得了更好的平衡,尽管它也承认在衡量其评估框架之外的污染方面存在局限性。 AI
影响 强调了 AI 训练数据清理中潜在的问题,如果这些问题不加以解决,可能会影响模型的可靠性和性能。
排序理由 该集群是关于一篇发表在 arXiv 上的学术论文,详细介绍了 AI 训练语料库数据去污方法的研究。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Reinforcement Learning with Verifiable Rewards
- RLVR
- ScienceCast
- calibration
- Held-out sets
- Open RLVR math corpora
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →