PulseAugur
中
实时 09:00:28

新的TAKE方法将文本数据集蒸馏至0.1%大小，同时保持任务保真度

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个名为轨迹感知知识估计（TAKE）的新框架，用于文本数据集蒸馏。该方法显著减小了大型文本语料库的大小，缩小到其原始大小的0.1%，同时保持了下游任务的性能。TAKE量化了每个样本对训练目标的贡献，并使用这些分数来选择信息量大的样本进行蒸馏，在文本分类和自然语言推理任务中显示出有效性。 AI

影响 能够显著降低自然语言处理任务的数据存储和训练成本。

排序理由 这是一篇详细介绍文本数据集蒸馏新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的TAKE方法将文本数据集蒸馏至0.1%大小，同时保持任务保真度

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Tri-Nhan Vo, Dang Nguyen, Sunil Gupta ·

    TAKE：文本数据集蒸馏的轨迹感知知识估计

    arXiv:2607.11898v1 Announce Type: new Abstract: Large-scale text corpora have become a quiet bottleneck in modern NLP, not just in storage, but in the accumulated cost of training, fine-tuning, and continual learning. We propose a text dataset distillation framework that reduces …

相关实体

相关话题