SupraLabs发布了Supra-Router-51M,这是一个紧凑型语言模型,旨在高效地在多模型AI生态系统中进行提示路由。该模型仅有5170万个参数,能够判断用户的请求是应由本地边缘模型处理,还是发送到更强大的云端系统。它在SupraLabs/Prompt-Routing-Dataset上进行了微调,并利用多任务序列生成来分析提示属性,然后进行路由。 AI
影响 能够更有效地路由多模型AI系统中的请求,可能降低延迟和成本。
排序理由 来自非前沿实验室的模型发布,附有详细的技术说明。
- SupraLabs
- Supra-Router-51M
- Docker
- Google Colab
- Hugging Face
- Kaggle
- SGLang
- SupraLabs/Prompt-Routing-Dataset
- SupraLabs/Supra-Router-51M
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →