一篇技术文章探讨了如何优化LLM代理的提示会无意中破坏前缀缓存，导致成本高于预期。作者解释说，虽然提示中的令牌数量较少可能看起来更便宜，但代理周期中前缀缓存的底层机制会导致效率低下。当本地优化破坏整个代理工作流程的缓存有效性时，就会出现此问题。 AI
影响 解释了LLM代理设计中潜在的低效率，这可能会影响成本和性能。
排序理由 技术文章，讨论特定的LLM机制及其影响。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах 32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запро…
Короткие видео вместо текстовых комментариев: как я не с того конца тестировал новый формат обратной связи Привет Хабр! Я часто пишу для блога МТС — в основном об аналитике исследований, тенденциях в мире ИТ и ИИ и о нестандартных кейсах. А в недалеком прошлом очень много обозрев…