一篇新的arXiv论文,题为“Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters”(主要是阅读:开放式评分在文档级LoRA适配器中衡量什么),研究了LoRA适配器在文档级任务中的有效性。研究人员发现,开放式评分(其中文档包含在提示中)主要衡量共享阅读行为,而不是专门的知识保留。即使适配器在Llama-3.1-8B-Instruct的特定维基百科文章上进行了训练,随机适配器也能在开放式测试中恢复相当一部分专家的优势,这表明适配器并未有效存储文档特定的事实。 AI
影响 这项研究表明,目前评估LoRA适配器的方法可能无法准确反映其知识保留能力,这可能会影响这些适配器的开发和评估方式。
排序理由 该集群包含一篇发表在arXiv上的研究论文,详细介绍了关于LoRA适配器的发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Llama 3.1 8B-Instruct
- LoRA+
- Martino M. L. Pulici
- ScienceCast
- Wikipedia
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →