Hierarchical Agent Distillation

新的LLM代理蒸馏框架提供分层控制

研究人员提出了一个新的用于蒸馏交互式大型语言模型（LLM）代理的框架，该框架超越了传统的on-policy vs. off-policy区分。他们的方法引入了一种分层蒸馏方法，将生成交互历史的策略与生成动作前缀的策略分离开来。实验表明，将学生模型诱导的历史与教师模型生成的动作前缀配对产生了最强的结果，而完全的on-policy数据在与其他配置混合时变得有益。研究还发现，这些策略的配对和时间安排对性能有显著影响，为代理蒸馏提供了实用的指导。