Amazon Web Services (AWS) 详细介绍了微调 GPT-OSS-20B 开放权重推理模型以提高其多语言性能的过程。基础模型在多语言推理方面表现不佳,经常会切换回英语。通过在 Amazon SageMaker HyperPod 上采用监督微调 (SFT) 和组相对策略优化 (GRPO),AWS 显著提高了模型在法语、德语、西班牙语和意大利语中进行推理和回答的能力。该研究还包括一项使用 Qwen2.5-7B 的对照实验,以进一步了解 GRPO 的有效性。 AI
影响 展示了提高开放权重模型多语言能力的方法,可能拓宽其应用范围。
排序理由 博客文章,详细介绍了针对开放权重模型的特定微调方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 AWS Machine Learning Blog 阅读 →
- Amazon Elastic Kubernetes Service (Amazon EKS)
- Amazon SageMaker HyperPod
- English
- French
- German
- GPT OSS 20B
- Group Relative Policy Optimization (GRPO)
- HuggingFaceH4/Multilingual-Thinking
- Italian
- qwen2.5:7b
- Spanish
- Supervised Fine-Tuning (SFT)
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →