Nexus Intelligence Advisory

开发者为本地 LLM 构建智能路由器

一位开发者创建了一个智能模型路由器，旨在优化资源受限的 CPU 上本地大型语言模型（LLM）的使用。该路由器根据任务类型、复杂性和性能历史动态选择最合适的 LLM，并强制要求复杂任务至少使用 30 亿参数的模型。它在不同大小的模型（例如 3B、7B、14B）之间切换，以平衡质量和延迟，并在可靠性方面回退到 Groq 或 Gemini 等云 API。该系统旨在提高在本地运行 LLM 时的决策能力和效率。