Reddit的r/LocalLLaMA板块的一位用户正在寻求关于微调小型语言模型（SLM）的实用建议。他们希望获得超越通用聊天机器人回复或文档的真实见解，特别关注数据集的策展、针对特定任务的LoRA秩选择、梯度监控和渐进式训练策略。该用户旨在提高SLM在特定领域的知识，同时保留其通用推理能力，可能用于集成到管道中、作为LLM作为裁判使用，或用于个人学习。 AI
影响 不适用
排序理由 用户正在就技术主题征求建议，而不是报告新进展。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>hello real people and less-real bots, i'd appreciate if any of you people who have fine-tuned (either full or peft) more than half a model could share your wisdom about fine-tuning. i know i can ask the friendly neighborhood chatgpt and also unsl…