新的贝叶斯方法优化大型语言模型训练数据混合物

研究人员开发了一种新的贝叶斯域加权方法，用于优化用于训练大型语言模型（LLMs）的数据混合物。该方法通过整合从观测中学习到的Gamma先验信息，从狄利克雷分布中推断出最优域权重。与现有的基于搜索的函数拟合技术相比，该方法旨在提供稳定高效的域权重学习，并用更少的数据识别最优混合物。这一进展可能会重振大规模LLM应用中基于优化的域加权。 AI

影响 这种新的贝叶斯方法通过优化数据混合物，有望实现更高效、更有效的大型语言模型训练。

排序理由 该集群包含一篇详细介绍优化LLM训练数据新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Bayesian domain reweighting
• CatalyzeX
• cs.LG
• DagsHub
• Dirichlet distribution
• Gamma prior
• Hugging Face
• large-language models

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →