研究人员发布了GLAN-QnA-KR,这是一个包含超过30万条记录的大规模韩语指令问答语料库。该语料库使用Microsoft的Phi-3.5-MoE-instruct模型和无种子、驱动式分类的合成管道生成。值得注意的是,该数据集的重复问题率很低,并已针对多个韩语基准进行了污染审计,与测试集的重叠度很小。 AI
影响 为训练韩语语言模型提供了大规模、高质量的数据集,有可能提高它们在各种任务上的性能。
排序理由 发布了一篇详细介绍合成指令语料库的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- GLAN-QnA-KR
- HAE-RAE-Bench
- Hugging Face Hub
- KMMLU
- Kobestelia
- Korean
- Microsoft
- OpenRail Association
- Phi-3.5-MoE-instruct
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →