PulseAugur
中
实时 15:12:39
English(EN) SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling

新的SOS-LoRA方法提升了LLM在推理和数学任务上的性能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的参数高效微调方法SOS-LoRA，旨在提升大型语言模型的性能。该技术将总秩分解到多个低秩专家中，采用固定的多尺度缩放策略来分离优化动态，并通过正交初始化和正则化鼓励输入方向的多样性。在推理、知识和数学基准测试中，SOS-LoRA相比标准的LoRA和其他变体提供了持续的改进，并且在推理时不会引入额外的参数或延迟。 AI

影响 在推理和知识任务上，为LLM微调提供了更高的效率和性能。

排序理由 该集群包含一篇学术论文，详细介绍了一种微调大型语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的SOS-LoRA方法提升了LLM在推理和数学任务上的性能

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Yupeng Chang, Yuan Wu, Yi Chang ·

    SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应

    arXiv:2607.16252v1 Announce Type: cross Abstract: Low-Rank Adaptation (LoRA) is a widely used parameter-efficient fine-tuning (PEFT) method for large language models. Under a fixed rank budget, LoRA parameterizes each adapted weight through a single low-dimensional input-side pat…

相关实体

相关话题