PulseAugur
中
实时 17:56:02
实体 Static Orthogonal-Subspace Low-Rank Adaptation

Static Orthogonal-Subspace Low-Rank Adaptation

PulseAugur coverage of Static Orthogonal-Subspace Low-Rank Adaptation — every cluster mentioning Static Orthogonal-Subspace Low-Rank Adaptation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_154133 ·

    新的SOS-LoRA方法提升了LLM在推理和数学任务上的性能

    研究人员推出了一种新颖的参数高效微调方法SOS-LoRA，旨在提升大型语言模型的性能。该技术将总秩分解到多个低秩专家中，采用固定的多尺度缩放策略来分离优化动态，并通过正交初始化和正则化鼓励输入方向的多样性。在推理、知识和数学基准测试中，SOS-LoRA相比标准的LoRA和其他变体提供了持续的改进，并且在推理时不会引入额外的参数或延迟。