一位 AI 开发者发现，由于后台任务静默运行，他们的 Hermes Agent 在七天内消耗了大量 token，总计 6.03 亿个。问题追溯到 kimi-k2.6 模型。开发者实施了显式路由来优化 token 使用，将不同任务分配给更轻量级或更合适的模型，如 rnj-1:8b、gemma3:12b、deepseek-v4-flash 和 kimi-k2.5，从而将成本降低了高达 125 倍。 AI
影响 优化 LLM 路由可以显著降低 AI 应用的运营成本并提高效率。
排序理由 该集群描述了用户级别的 AI 代理资源消耗优化和修复，而非新的模型发布或重大行业事件。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →