Asif Muhammad Iqbal

决策模型增强边缘SLM以供企业使用，降低成本

Logic42 Lab开发的一种名为预生成决策路由的新方法，旨在使小型语言模型（SLM）适用于企业使用。该方法在开始生成令牌之前评估语义意图、紧急程度和输出预算，解决了传统检索增强生成（RAG）系统中存在的令牌膨胀和延迟问题。使用TypeSafe AI Jev进行的实证基准测试表明，该技术可以将紧凑型SLM转变为生产级边缘工作负载，从而显著降低云支出。