研究人员开发了一种针对 LLaMA-3.1-8B 的顺序微调方法，通过考虑话语元素的相互依赖性，显著提高了自动论文评分 (AES) 的性能。该方法逐步在模型上训练论文的不同组成部分，如开头、论点、证据和结论，在某些指标上优于独立的特定任务模型和一个规模大得多的 LLaMA-70B 基线。研究表明，与话语结构一致的课程设计对于 AES 至关重要，并且更小、更专业的模型可以与更大的 LLM 竞争，为教育 NLP 提供更具成本效益的解决方案。 AI
影响 证明了结构化的课程学习可以提高 LLM 在复杂 NLP 任务上的性能，有望为教育应用带来更高效、更专业的模型。
排序理由 学术论文，详细介绍了针对特定 NLP 任务的新颖微调方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.10327v1 Announce Type: new Abstract: Automated Essay Scoring (AES) systems must judge interdependent discourse elements (e.g., lead, claim, evidence, conclusion), yet most approaches treat these in isolation, harming coherence and generalization. We investigate task-aw…
Automated Essay Scoring (AES) systems must judge interdependent discourse elements (e.g., lead, claim, evidence, conclusion), yet most approaches treat these in isolation, harming coherence and generalization. We investigate task-aware fine-tuning of LLaMA-3.1-8B for AES using pa…