一位开发者演示了,一个本地运行的、拥有40亿参数的小型模型Gemma 4 E4B,通过“懒惰发现”模式,能够有效地管理超过10万个工具。这种方法使模型能够应对复杂的模拟城市危机,并以相似的效率匹配了更大、远程的Claude Sonnet 4.6模型的性能。用于此次演示的中间件将一个类似文件系统的目录暴露给LLM,使其能够仅调用必要的工具,从而避免了上下文窗口限制和高昂的成本。 AI
影响 表明小型本地模型在适当的工具管理下可以非常有效,有可能减少对大型远程模型的依赖。
排序理由 演示了一种新颖的LLM工具使用方法,涉及特定模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →