English(EN) Robust LLM Data Selection via Content-Invariant Gradient Attribution

新的CIGA方法通过关注内容来改进LLM数据选择

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-28 04:00

研究人员开发了一种名为内容不变梯度归因（CIGA）的新方法，以改进大型语言模型（LLM）的训练数据选择。现有的基于梯度的 G 100 方法容易受到数据中微小、语义无关的变化的影响，导致归因分数不一致。CIGA 通过识别稳定的梯度层并将其与语义表示融合来解决此问题，确保归因基于内容而非表面格式。实验表明，CIGA 提供了更稳定的数据排名，保持了下游能力，并提高了整体性能，同时降低了计算成本。 AI

影响通过提高数据选择的鲁棒性，增强了LLM的训练效率和性能。

排序理由这是一篇详细介绍LLM数据选择新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一篇详细介绍LLM数据选择新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Jia Gu, Liang Pang, Huawei Shen · 2026-10-28 04:00

通过内容不变梯度归因实现鲁棒的大语言模型数据选择

arXiv:2610.36755v1 Announce Type: cross Abstract: Gradient-based data attribution has become an important tool for high-quality data selection in the instruction fine-tuning of large language models (LLMs), as it estimates the contribution of training examples through their influ…

本文如何被排名

报道来源 [1]

通过内容不变梯度归因实现鲁棒的大语言模型数据选择

相关实体

相关话题