English(EN) Ori: Drift-Aware Streaming $k$-PCA for Very Low-Rank LLM Training

Ori 优化器通过漂移感知 k-PCA 缩小 LLM 训练差距

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-19 04:00

研究人员开发了 Ori，一种用于训练大型语言模型 (LLM) 的新优化技术，解决了低秩训练的挑战。Ori 使用受 Oja++ 启发的漂移感知流式 k-PCA 算法，持续跟踪变化的梯度主方向。这种方法显著缩小了低秩和全秩 LLM 训练之间的性能差距，在 LLaMA 预训练任务上取得了高达 69.3% 的改进，并在 Roberta-Base 微调任务上优于其他方法。 AI

影响这项研究可能导致更高效、更准确的大型语言模型训练，从而降低计算成本并提高各种自然语言处理任务的性能。

排序理由该集群包含一篇详细介绍 LLM 训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 25 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍 LLM 训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Xinyu Luo, Jincheng Zhou, Mengbo Wang, Zilin Shen, Nadia Atallah Lanman, Petros Drineas, Bruno Ribeiro, Brian Bullins · 2026-10-19 04:00

Ori: 漂移感知流式 $k$-PCA 用于极低秩 LLM 训练

arXiv:2610.22794v1 Announce Type: new Abstract: A prominent family of low-rank LLM optimizers, pioneered by GaLore, performs gradient-subspace projection: at each step, they project the gradient into a low-dimensional subspace and map the update back to the full model. Most exist…

本文如何被排名

报道来源 [1]

Ori: 漂移感知流式 $k$-PCA 用于极低秩 LLM 训练

相关实体

相关话题