tool schemas
PulseAugur coverage of tool schemas — every cluster mentioning tool schemas across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
提示缓存通过重用 KV 张量大幅降低 LLM 成本
提示缓存是一种优化技术，通过重用先前计算出的键/值张量，可以显著降低使用大型语言模型的成本。当后续请求与先前请求共享相同的前缀时，此方法非常有效，允许系统绕过该部分重新计算。成本节省是巨大的，有可能将前缀成本降低高达 89%，但命中率对提示结构高度敏感，即使是像在系统提示中包含时间戳这样的小改动也会导致 0% 的命中率。
-
开发者的提示缓存失误增加了成本；简单的计算本可以避免
一位开发者发现，为文档问答服务实现提示缓存，由于只有 4% 的低缓存命中率，意外地将成本增加了 5%。问题源于一个包含动态时间戳的系统提示，导致缓存数据失效。通过将时间戳移至提示的可变部分，缓存命中率提高到 71%，显著降低了成本。开发者强调了事先进行简单计算的重要性，以确定缓存具有成本效益所需的命中率，并指出他们的合同对缓存写入收取了额外费用。
-
AI重塑工作，推动个体创业和新的成本管理挑战
AI的日益普及正在重塑商业格局，促使许多人考虑个体创业而非传统的企业角色。数据显示，在AI驱动的领域，单创始人C公司注册和个人业务申请有所增加，这支持了这一转变。与此同时，管理AI成本正成为企业面临的关键问题，因为使用量的增加（而非仅仅是单价）导致了费用的上升。这与过去云计算成本面临的挑战相似，需要像FinOps for AI这样的新方法来跟踪每个结果的价值，而不仅仅是token消耗。
-
LLM工具模式设计：防止不良工具调用
设计有效的工具模式对于防止大型语言模型（LLM）进行不正确的工具调用至关重要。当一个单一的、定义宽泛的工具导致路由歧义时，就会出现一个常见问题，导致LLM误解用户请求。最佳解决方案是将宽泛的功能分解为多个定义明确的工具，每个工具都有清晰的描述、特定的返回值、定义的触发器和明确的排除项，以确保准确的功能执行。