PulseAugur
中
实时 12:29:35
English(EN) I built an LLM router that hands you a receipt for every request

开源LLM路由器提供透明、节省成本的模型选择

作者 PulseAugur 编辑部 · [1 个来源] ·

一个名为OmnisRouter的新型开源、自托管LLM路由器已被开发出来，旨在提供AI模型使用中的透明度和成本节约。这个代理工具集成了OpenAI、Anthropic和Gemini API，允许用户维护自己的提供商密钥。OmnisRouter会选择能够处理给定请求的最具成本效益的模型，并在每个响应中附带一张详细的收据，概述所选模型、其成本和置信度级别。路由决策由一个小型ONNX模型做出，该模型嵌入提示并将其映射到意图集群，确保昂贵的尖端模型仅在必要时使用，这一点已通过配套的OmnisBench基准测试得到验证。 AI

影响 通过智能地将请求路由到最合适且经济的模型，为LLM用户实现成本优化和透明度。

排序理由 该项目描述了一个用于LLM路由的自托管代理工具，而不是一个新的模型发布或核心研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

开源LLM路由器提供透明、节省成本的模型选择

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Developer at Fortitude Omnis Group ·

    我构建了一个LLM路由器，每次请求都会给你一张收据

    <p>A router that decides where your money goes is asking for a lot of trust. It sits in front of every request, quietly picks a model, and sends you a bill at the end of the month. If it tells you it saved you 60%, you mostly have to take its word for it.</p> <p>I did not want to…

相关实体

相关话题