Shlomi Ardan

开发者使用 Jev 作为门禁来控制 Gemini LLM 调用

一位开发者使用 Jev（一个小型决策模型）实现了一个“系统 1”门禁，用于在用户查询到达更强大的“系统 2”LLM（如 Gemini）之前进行过滤。该门禁每次处理一千个问题约花费两美分，它会分析用户输入，以确定其是否与股票研究、网站帮助、导航或无关话题相关。它还会检查是否存在提示注入尝试。通过使用这个门禁，开发者旨在防止为不相关的查询调用昂贵的 Gemini Flash 模型，从而优化其基于 RAG 的股票分析网站的资源使用和成本。