tool schemas
PulseAugur coverage of tool schemas — every cluster mentioning tool schemas across labs, papers, and developer communities, ranked by signal.
-
大型语言模型的上下文窗口是预算,不是记忆,并有复杂的截断规则
大型语言模型的上下文窗口常常被误解为直接的记忆容量。实际上,它更像一个预算,在系统提示、工具模式和预留输出空间消耗令牌后,用户实际提示才被考虑。这意味着有效的提示预算远小于总窗口大小。此外,决定何时达到上下文限制的截断策略并不标准化,它们可以移除中间的消息,而不仅仅是最旧的消息,这可能导致代理重新提问或丢失标识符或错误代码等关键信息。建议开发者将上下文窗口视为缓存,并使用显式的锚定机制来处理重要数据,而不是依赖摘要或假设简单的从旧到新截断。
-
提示缓存通过重用 KV 张量大幅降低 LLM 成本
提示缓存是一种优化技术,通过重用先前计算出的键/值张量,可以显著降低使用大型语言模型的成本。当后续请求与先前请求共享相同的前缀时,此方法非常有效,允许系统绕过该部分重新计算。成本节省是巨大的,有可能将前缀成本降低高达 89%,但命中率对提示结构高度敏感,即使是像在系统提示中包含时间戳这样的小改动也会导致 0% 的命中率。
-
开发者的提示缓存失误增加了成本;简单的计算本可以避免
一位开发者发现,为文档问答服务实现提示缓存,由于只有 4% 的低缓存命中率,意外地将成本增加了 5%。问题源于一个包含动态时间戳的系统提示,导致缓存数据失效。通过将时间戳移至提示的可变部分,缓存命中率提高到 71%,显著降低了成本。开发者强调了事先进行简单计算的重要性,以确定缓存具有成本效益所需的命中率,并指出他们的合同对缓存写入收取了额外费用。
-
AI重塑工作,推动个体创业和新的成本管理挑战
AI的日益普及正在重塑商业格局,促使许多人考虑个体创业而非传统的企业角色。数据显示,在AI驱动的领域,单创始人C公司注册和个人业务申请有所增加,这支持了这一转变。与此同时,管理AI成本正成为企业面临的关键问题,因为使用量的增加(而非仅仅是单价)导致了费用的上升。这与过去云计算成本面临的挑战相似,需要像FinOps for AI这样的新方法来跟踪每个结果的价值,而不仅仅是token消耗。
-
LLM工具模式设计:防止不良工具调用
设计有效的工具模式对于防止大型语言模型(LLM)进行不正确的工具调用至关重要。当一个单一的、定义宽泛的工具导致路由歧义时,就会出现一个常见问题,导致LLM误解用户请求。最佳解决方案是将宽泛的功能分解为多个定义明确的工具,每个工具都有清晰的描述、特定的返回值、定义的触发器和明确的排除项,以确保准确的功能执行。