研究人员开发了一种名为 Harness-Aware Distillation (HAD) 的新方法来训练小型语言模型代理。HAD 专注于教授学生代理教师代理的独特能力,而这些能力是部署工具链未提供的。它通过对比有无工具链信息时教师的行为来实现这一点,并包含一个有效性检查,以确保首选行为与工具链记录一致。与标准的 on-policy 蒸馏相比,这种方法在长时序代理基准测试中表现出更优的性能,因为它有助于代理避免无效循环并更有效地从错误中恢复。 AI
影响 这项新的蒸馏技术可以实现更高效地训练小型、有能力的语言模型代理,从而可能降低计算成本和部署复杂性。
排序理由 该集群包含一篇详细介绍训练语言模型代理新方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Harness-Aware Distillation
- Harness.io
- language-model agents
- long-horizon agent benchmarks
- On-Policy Distillation
- Small Language Model Agents
- Standard distillation
- student
- teacher
- Hugging Face
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →