PulseAugur
实时 18:36:30
English(EN) # Ollama # AI is there no way to request the token count without inferencing? I should be able to be like... `curl -s http://localhost:11434/api/count -d '{ "mo

Ollama 用户寻求在不进行推理的情况下获取令牌计数

用户正在询问是否可以在不启动完整推理过程的情况下从 Ollama 获取令牌计数。当前的 API 结构似乎需要一个提示,即使只想要令牌估算也会导致推理。这表明对于需要精确令牌计算以进行提示优化或成本管理的开发者来说,可能存在功能差距。 AI

影响 此查询突显了使用 Ollama 的 AI 开发者在可用性方面可能得到改进,从而能够更有效地进行提示工程和成本跟踪。

排序理由 用户对现有 AI 工具的特定功能进行咨询。

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Ollama 用户寻求在不进行推理的情况下获取令牌计数

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    # Ollama # AI is there no way to request the token count without inferencing? I should be able to be like... `curl -s http://localhost:11434/api/count -d '{ "mo

    # Ollama # AI is there no way to request the token count without inferencing? I should be able to be like... `curl -s http://localhost:11434/api/count -d '{ "model": "gemma3:4b", "prompt": "Why is the sky blue? Answer in one sentence.", "stream": false }'` and then it respond wit…