juliarturc

Fireworks AI 探索 LoRA 以实现高效的 LLM 微调

Fireworks AI 正在探索 LoRA（低秩适应）在微调大型语言模型方面的有效性。他们的研究表明，LoRA 可以通过仅训练其 0.2% 的权重来教会像 Kimi K3 这样拥有 2.8 万亿参数的庞大模型一项新技能。正在研究这种方法以了解为什么如此小比例的可训练参数能产生显著效果，实验将比较不同 LoRA 秩在 Qwen3.8-27B 等模型上的表现。