研究人员推出了一种新颖的数据选择框架 ICLHerd,旨在改进大型语言模型 (LLM) 的训练。与仅关注最大化与开发集相似度的现有方法不同,ICLHerd 采用 von Mises-Fisher 核来平衡模式搜索和模式平均化。这种方法旨在防止数据过于狭窄地聚集在特定示例周围而产生偏差。该框架还利用 in-context learning 作为超参数调优的有效代理,与当前的 LLM 数据选择算法相比,表现更优。 AI
影响 这种新的数据选择方法可能导致 LLM 的训练更有效、更高效,从而可能提高它们在各种下游任务上的性能。
排序理由 该集群包含一篇详细介绍 LLM 数据选择新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CORE Recommender
- DagsHub
- Few-shot learning
- Gotit.pub
- Hugging Face
- ICLHerd
- LLMs
- ScienceCast
- von Mises-Fisher kernel
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →