nodus/sft

使用 LoRA 适配器在自定义数据上微调 Mistral 7B 详解

文章详细介绍了一种使用 LoRA 适配器在自定义数据上微调 Mistral 7B 语言模型的方法。文章指出，48 GB 的 GPU 对于此过程来说已足够，这与完全微调所需的高得多要求形成对比。该指南还规定了训练数据的理想格式，推荐使用带有 prompt 和 answer 字段的 JSONL 格式，并建议在指令遵循任务中从 Mistral-7B-Instruct-v0.3 模型开始。最后，文章概述了在 Nodus 平台上运行此微调作业的…