None Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

新方法高效微调大语言模型用于文本分类

作者 PulseAugur 编辑部 · [1 source] · 2026-05-25 04:00

研究人员探索了两种高效微调大语言模型用于文本分类任务的方法，特别是在资源受限的情况下。该研究比较了使用预训练因果大语言模型的最终标记嵌入来附加分类头，与以提示-响应格式对大语言模型进行指令微调。在专利和公开数据集上的实验表明，对于单标签分类，基于嵌入式的方法通常能媲美甚至超越指令微调方法，且需要训练的参数显著减少。 AI

影响提出了大语言模型的高效微调技术，可能降低在文本分类任务中部署这些模型的门槛。

排序理由学术论文，详细介绍了微调大语言模型的 novel 方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 · Amirhossein Yousefiramandi, Ciaran Cooney · 2026-05-25 04:00

Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

arXiv:2512.12677v2 Announce Type: replace-cross Abstract: We explore efficient strategies to fine-tune decoder-only Large Language Models (LLMs) for downstream text classification under resource constraints. Two approaches are investigated: (1) attaching a classification head to …

报道来源 [1]

Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

相关实体

相关话题