两篇新研究论文提出了使大型语言模型在推理能力方面更高效的方法。第一篇“通过更少的训练学到更多”(Learning More by Training Less)介绍了一种不确定性引导的渐进收缩框架,通过将优化集中在关键的推理轨迹上,显著降低了监督微调所需的训练预算。第二篇论文“REDaCT”提出了一种推理时遗忘框架,旨在从推理模型中移除特定信息,而不会导致性能下降或“推理崩溃”(模型无法产生连贯思维过程的常见问题)。 AI
影响 这些方法可能带来更高效的训练和对 LLM 输出的更好控制,从而可能降低计算成本并提高模型可靠性。
排序理由 该集群包含两篇详细介绍改进大型语言模型新方法的学术论文,符合研究类别。
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- large-language models
- Monte Carlo
- ScienceCast
- supervised fine-tuning
- Uncertainty-Guided Progressive Contraction
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →