一位开发者创建了一个路由器，该路由器可智能地将 AI 任务定向到最具成本效益且有能力处理这些任务的模型。该系统已处理超过 9200 个任务，通过为不需要前沿 AI 功能的任务使用更小、功能更弱的模型，节省了 21 美元。该项目的观察结果是，许多常见的 AI 应用，例如摘要和起草，可以由 8-70B 参数的模型有效管理。 AI
影响 通过将任务路由到合适的模型，实现 AI 任务执行的成本优化，可能降低运营费用。
排序理由 这是一个用户构建的优化 AI 任务路由以节省成本的工具，而不是来自主要 AI 实验室的发布或重大的政策变化。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
🤖 I built a router that automatically sends your AI tasks to the most appropriate model to handle them at low cost - 9,200 tasks in, $21 saved at $0.14 actual cost The observation that started this: most of what people use AI for every day - summarising, drafting, classifying, ex…
📰 Mappa Makes Jujutsu Kaisen Modulo Anime Video for Final Manga Volume In honor of the launch of the last Jujutsu Kaisen Modulo manga volume, Mappa made an anime ad for the book. The post Mappa Makes Jujutsu Kaisen Modulo Anime Video for Final Manga Volume appeared fi... 📰 Source…