IT ticket classification

评估LLM在IT工单路由中的成本节约弃权能力

一篇新的arXiv论文探讨了面向IT工单分类的大型语言模型（LLM）的成本感知弃权方法。该研究评估了弃权（即将决策推迟给人工处理）如何降低与不正确自动路由相关的成本。通过对显式成本进行策略校准，研究发现即使是像TF-IDF与逻辑回归这样的简单模型，与总是路由工单相比，也能显著降低成本和错误路由率。虽然测试了GPT-4o mini和Haiku等LLM，但它们在校准和区分能力方面的表现各不相同，在某些概率阈值下，一些配置会将所有工单都推迟处理。