一篇新发表在arXiv上的研究论文调查了大型语言模型中常用的基于梯度的数据归因方法。研究表明,这些方法主要追踪答案格式的相似性,而不是任务语义。研究人员通过创建具有相同任务但答案格式不同,以及相同答案格式但任务不同的基准测试来证明这一点,结果发现只有当答案格式匹配时才存在强烈的关联。研究结果表明,当前的基于梯度的方法可能无法可靠地识别与任务相关的技能,并且可能受到数据中表面相似性的影响。 AI
影响 挑战了当前分析和选择LLM训练数据的可靠性方法,可能影响未来的模型开发和评估。
排序理由 发表在arXiv上的学术论文,详细介绍了新的研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →