English(EN) Internalizing Tool Knowledge in Small Language Models via QLoRA Fine-Tuning

小型语言模型通过QLoRA微调内化工具知识

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-18 02:48

研究人员开发了一种通过QLoRA微调将工具知识内化到小型语言模型中的方法，减少了在提示中显式使用工具模式的需求。通过在Gemma 4 E4B和Qwen3-4B等模型上训练工具使用示例，他们取得了比接收完整工具描述的基线模型更好的规划分数。这种方法显著减少了输入长度和推理开销，同时保持或提高了工具规划质量，但可能会影响通用知识的保留。 AI

影响通过减少提示令牌开销，使得在智能体系统中更有效地使用小型模型成为可能。

排序理由该集群包含一篇详细介绍小型语言模型新微调方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Tanmay Agarwal · 2026-05-18 02:48

Internalizing Tool Knowledge in Small Language Models via QLoRA Fine-Tuning

Large language models are increasingly used as planning components in agentic systems, but current tool-use pipelines often require full tool schemas to be included in every prompt, creating substantial token overhead and limiting the practicality of smaller models. This paper in…

报道来源 [1]

Internalizing Tool Knowledge in Small Language Models via QLoRA Fine-Tuning

相关实体

相关话题