PulseAugur
中
实时 09:44:34
English(EN) LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

新的LoCA方法通过前向传播方法大幅降低LLM微调成本

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的两阶段大型语言模型参数高效微调方法LoCA。该技术旨在通过一次校准过程替换重复的端到端反向传播来降低计算负担。LoCA通过拟合每个Transformer块的低秩映射来纠正预测错误，然后使用这些映射进行前向传播微调。在Qwen2.5模型上的评估表明，与LoRA相比，LoCA提供了更低的交叉熵，并显著降低了GPU峰值内存、CPU内存和每次迭代的时间。 AI

影响 提供了一种更有效的LLM适应方法，可能降低微调的门槛。

排序理由 详细介绍LLM微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的LoCA方法通过前向传播方法大幅降低LLM微调成本

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu ·

    LoCA：一次性校准后的前向LLM调优与局部信用分配

    arXiv:2608.03020v1 Announce Type: new Abstract: Parameter-efficient post-training reduces the number of trainable parameters, but still requires repeated end-to-end backpropagation through the frozen backbone. Every adaptation step therefore needs backward-capable hardware and mu…

相关实体

相关话题