研究人员开发了一种名为反事实测试时增强(CTTA)的新方法来解决大型语言模型(LLM)中的捷径问题。这些捷径是训练数据中的相关性,当测试数据分布发生变化时可能导致不准确的预测。与需要大量训练时资源的先前方法不同,CTTA在测试时通过生成反事实编辑来改变捷径值并平均预测。提出的Select-CTTA方法,它在CTTA变体中进行选择,展示了与在平衡数据上微调的模型相媲美的性能,优于其他测试时基线。 AI
影响 这项研究通过在测试时解决捷径学习问题,提供了一种更有效的方法来提高LLM的可靠性,从而可能减少昂贵的重新训练的需要。
排序理由 该集群描述了一篇详细介绍改进语言模型新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Counterfactual Test-Time Augmentation
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- Language Models
- ScienceCast
- Select-CTTA
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →