新的SAZO方法通过自适应样本选择加速LLM微调

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-12 04:00

研究人员推出了一种名为样本自适应零阶优化（SAZO）的新型方法，用于微调大型语言模型，该方法改进了现有的零阶（ZO）优化技术。与对训练样本进行均匀采样的传统ZO方法不同，SAZO在线自适应地学习样本重要性，将更多查询分配给关键样本以加速收敛。该方法提取梯度范数信息来估计样本重要性，而无需真实梯度，并维护每个样本的移动平均值以跟踪不断变化的样本重要性。实验表明，SAZO在各种模型家族中实现了更快的收敛速度和更优的下游性能。 AI

影响 SAZO的自适应采样可以显著降低微调LLM所需的计算成本和时间，从而使更高级的模型定制更加易于实现。

排序理由该集群描述了在arXiv上的一篇学术论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 12 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了在arXiv上的一篇学术论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Haiyuan Wan, Yanyi Li, Weicheng Lin, Cong Fang · 2026-10-12 04:00

样本自适应零阶后训练

arXiv:2610.12566v1 Announce Type: new Abstract: Zeroth-order (ZO) optimization offers a memory-efficient alternative to backpropagation for fine-tuning large language models. However, existing ZO methods typically sample training examples uniformly, overlooking their evolving imp…

本文如何被排名

报道来源 [1]

样本自适应零阶后训练

相关实体

相关话题