实体
MCP-servers/Vodou-Console/src/llm.ts
MCP-servers/Vodou-Console/src/llm.ts
PulseAugur coverage of MCP-servers/Vodou-Console/src/llm.ts — every cluster mentioning MCP-servers/Vodou-Console/src/llm.ts across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Vodou 系统添加提示词作者注册表以管理 LLM 上下文预算
一个名为 Vodou 的软件系统已更新，通过引入提示词作者注册表来更好地管理大型语言模型的上下文窗口。最初设计有五个上下文通道，审计发现有七个，后来又添加了第八个，这凸显了一个问题：各个代码组件在没有集中注册系统的情况下写入提示词。新的注册表定义在 TOML 文件中，要求每个提示词编写组件声明其名称、预算、优先级和溢出处理，并且一致性保护脚本中的新规则强制执行此注册，以防止未计数的上下文注入。
-
开发者通过稳定系统提示解决了 LLM 缓存问题
一位开发者发现他们的 LLM 应用未能有效利用缓存，导致成本增加。最初怀疑是 Fireworks 的无服务器 API 存在会话亲和性问题，但他们发现缓存是自动的，但依赖于完全相同的提示前缀。问题源于一个动态的系统提示，其中包含不稳定的工作区引导和依赖于查询的记忆回忆。通过重构系统提示使其稳定，并将动态内容移至消息数组，开发者显著提高了缓存命中率并降低了成本，认识到依赖于查询的信息不应成为可缓存前缀的一部分。