研究人员开发了一种学生指导教师蒸馏流程，以提高将用户请求路由到专门的大型语言模型（LLM）任务的效率。该方法使用紧凑的ModernBERT分类器作为学生模型，预测类别分布并检索一小组顶级候选。然后，一个更大的DeBERTa-v3分类器仅对这些候选进行重新排序，而不是对所有可能的标签进行排序。教师标签的迭代生成会改进学生模型，增强其为未来请求生成更精确候选的能力。这种方法旨在降低零样本分类器相关的计算成本，这些分类器的成本通常与任务类别数量成线性关系。 AI
影响 该方法可以显著降低将用户请求路由到专门LLM的计算成本，从而实现更高效、可扩展的AI系统。
排序理由 该集群包含一篇学术论文，详细介绍了LLM任务路由的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
