对 Llama 3.2 3B 模型进行医疗问答微调的第二周，重点是数据准备。最初考虑使用 USMLE 多项选择题数据集，但该数据集不适合生成临床解释。随后，项目转向 ChatDoctor HealthCareMagic 100K 数据集，该数据集包含真实患者的问题和医生回复。开发了一个清理流程，用于移除特定平台的填充词、结尾的署名和输入伪影，同时还根据质量和内容长度进行过滤。 AI
影响 在专业数据集上微调 Llama 3.2 等开源模型，可以产生更强大、更具领域针对性的 AI 助手。
排序理由 该集群描述了在特定领域数据集上微调开源 LLM 的过程，属于研究范畴。
在 Medium — fine-tuning tag 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/@aquinf03/qlora-fine-tuning-of-llama-3-2-1b-instruct-on-a-healthcare-domain-dataset-b1e81d7b83b8?source=rss------fine_tuning-5"><img src="https://cdn-images-1.medium.com/max/1172/1*TZz_rHJ7nUyg…
<h2> What Happened This Week </h2> <p>Week 1 established the baseline. This week is where the actual engineering begins.</p> <p>Before any fine-tuning can happen, the training data has to be in the exact format the model expects. That sounds simple. It is not. This week involved …