PulseAugur
中
实时 13:13:39
English(EN) Long-Context Fine-Tuning with Limited VRAM

新的HGA方法可在有限显存下实现长上下文LLM微调

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种名为分层全局注意力（HGA）的新方法，可在有限显存下高效微调大型语言模型。该技术结合了分段反向传播和分层KV存储，将旧数据卸载到RAM或NVMe，同时将活动段保留在显存中进行区分。将其应用于Qwen3_8B模型，HGA在16 GB Quadro RTX 5000 GPU上成功训练了16,384个token，这是在同一硬件上使用标准密集训练方法不可能实现的壮举。HGA训练的适配器在较短的上下文长度下也表现出与密集训练适配器相当的性能，并有望随着上下文的增加而超越密集方法。 AI

影响 这项技术可以显著降低训练和微调大型语言模型的硬件门槛，使先进的人工智能更加普及。

排序理由 该集群描述了arXiv论文中提出的一种用于提高LLM微调效率的新方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的HGA方法可在有限显存下实现长上下文LLM微调

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle ·

    有限显存下的长上下文微调

    arXiv:2607.15105v1 Announce Type: new Abstract: Parameter-efficient fine-tuning reduces model and optimizer memory, but dense attention still makes long training sequences expensive. We combine Hierarchical Global Attention (HGA) with segment-wise backpropagation and tiered KV st…

  2. arXiv cs.AI TIER_1 English(EN) · Frank Woernle ·

    有限显存下的长上下文微调

    Parameter-efficient fine-tuning reduces model and optimizer memory, but dense attention still makes long training sequences expensive. We combine Hierarchical Global Attention (HGA) with segment-wise backpropagation and tiered KV storage. Only the active segment remains different…

相关实体

相关话题