mlx-tune

微调 LLM：领域专业化的三阶段流程

本文详细介绍了微调语言模型以使其专业化于特定领域的三个阶段的流程。第一阶段涉及使用 Docling 等工具进行文档转换，从各种文件类型中提取结构化内容。第二阶段使用像 OpenAI 的模型这样的大型“教师”模型，从提取的文档部分生成问答对。最后，使用 LoRA 等技术，并借助 Unsloth 或 mlx-tune 等加速库，在这些合成的问答对上微调一个较小的“学生”模型，使其能够在本地离线运行，充当领域专家。