研究人员开发了一种名为“Mind the Tail”的新型数据选择方法,该方法利用稀疏自动编码器(SAEs)来识别和增强训练数据集中代表性不足的概念。该方法侧重于为每个样本累积概念支持,降低代表性良好的概念的权重,并优先考虑代表性有限的概念。通过纳入局部支持,该方法有效地找到了能够加强这些支持不足概念的样本,从而在细粒度、虚假相关和多模态分类任务中取得了持续的改进。已证明增强的概念支持可以提高对分布外和虚假上下文的鲁棒性,将概念支持确立为高效和鲁棒学习的关键原则。 AI
影响 通过关注训练数据中代表性不足的概念,增强了AI模型的鲁棒性和数据效率。
排序理由 该项目是一篇研究论文,详细介绍了一种用于AI模型训练的新数据选择方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- Mind the Tail: Data Selection Through Sparse Concepts
- ScienceCast
- scite Smart Citations
- Sparse Autoencoders
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →