English(EN) It is not clear to me which parameter we should use for LoRA training—shift or sigmoid—for the new models (Qwen 2.1, LLaMA 2, and MOSS) within the AI toolkit.

AI用户就Qwen 2.1、LLaMA 2和MOSS的LoRA训练参数展开讨论

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-24 17:19

一位Reddit用户正在寻求关于LoRA模型最佳训练参数的建议，特别是针对Qwen 2.1、LLaMA 2和MOSS模型。他们不确定是使用“shift”还是“sigmoid”参数，并提到“sigmoid balanced”已被推荐用于面部学习，但他们最近为MOSS进行的LoRA训练导致输出损坏。该用户正在尝试Qwen 2.1和MOSS的不同“shift”变体，并质疑在某些训练阶段“shift”是否可能优于“sigmoid”。 AI

影响讨论凸显了在微调大型语言模型方面持续存在的挑战和社区驱动的实验。

排序理由用户生成的关于模型训练参数的讨论，而非主要发布或研究发现。

在 r/StableDiffusion 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 用户生成的关于模型训练参数的讨论，而非主要发布或研究发现。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 10 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

r/StableDiffusion TIER_2 English(EN) · /u/Inevitable_Pen9043 · 2026-10-24 17:19

对于AI工具包中的新模型（Qwen 2.1、LLaMA 2和MOSS），我尚不清楚应使用哪个参数进行LoRA训练——shift还是sigmoid。

<div class="md">In the past, I heard some people say that "sigmoid balanced" is better—that it’s the only one capable of learning faces. I recently trained a LoRA for "Moss," and the result turned out completely broken. Sigmoid …

本文如何被排名

报道来源 [1]

对于AI工具包中的新模型（Qwen 2.1、LLaMA 2和MOSS），我尚不清楚应使用哪个参数进行LoRA训练——shift还是sigmoid。

相关实体

相关话题