Vidai Community是一款新的开源工具，提供一个单一的Rust二进制文件，用于在您自己的基础设施内管理LLM调用。它提供成本归属、护栏以及跨多个LLM提供商的路由功能。该工具通过更改SDK的基础URL即可轻松集成，并支持硬性团队预算和主要提供商的免费公共费率卡服务等功能。 AI
影响 简化了使用多个AI模型的开发人员的LLM集成和成本管理。
排序理由 该集群描述了一个用于管理LLM交互的新软件工具的发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1truray/vidai_community_is_now_available_one_rust_binary/"> <img alt="Vidai Community is now available: one Rust binary for cost attribution, guardrails and multi-provider routing on every LLM call" src="https…