Globex
PulseAugur coverage of Globex — every cluster mentioning Globex across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
已识别出六个常见的破坏 .NET 应用中 LLM 提示缓存的问题
一位开发者发现，在使用大型语言模型 (LLM) 的 .NET 应用程序中，有六个常见问题会无意中禁用提示缓存。这些问题通常源于提示开头一些看似无害的小改动，例如在共享系统提示中包含动态时间戳、请求 ID 或特定于租户的信息。当这些元素发生变化时，它们会使提示前缀失效，导致 LLM 提供商的缓存失效，从而增加成本并减慢响应速度。作者建议将动态信息移至提示末尾，或在启动时对提示的稳定部分进行代码检查，以防止这些破坏缓存的修改。
-
LLM路由通过将提示匹配到最便宜的可用模型来节省成本
本文介绍了一种节省LLM使用成本的策略，通过实施一个路由系统，将提示引导到能够处理任务的最经济的模型。作者认为，将高级模型用于分类或翻译等简单任务效率低下且成本高昂。提出的解决方案包括一个基于代码的路由器，该路由器评估任务的复杂性、风险和token数量，以选择适当的模型层级，并设有一个验证步骤，如果初始选择失败，则升级到更强大的模型。这种方法旨在通过避免不必要地将高成本模型用于直接请求来减少LLM账单，例如发票提取和合同查询的示例就证明了这一点。
-
使用 Cedar 将代理授权作为代码实现
本文探讨了如何使用 Cedar（一种策略即代码语言）来实现代理授权。文章详细介绍了如何通过模式定义授权策略，将授权作为数据进行管理，并建立三个核心的访问控制规则。作者将 Cedar 与 OPA/Rego 进行了对比，强调了 Cedar 内置的“禁止覆盖允许”逻辑及其模式验证能力，这可以防止格式错误的策略进入生产环境。文章还提到了将授权逻辑集中在网关而不是分散在各个处理程序中的好处。
-
AI代理因权限过大而面临“糊涂副手”错误风险
当AI代理的权限超出其代表的用户权限时，它们可能会成为“糊涂副手”。这可能导致意外操作，例如，当用户只想总结一个工单时，AI代理却关闭了公司的所有工单。根本原因是授权失败，代理的广泛服务账户授予了它比用户所拥有的更大的权力。解决方案包括在代理和每次工具调用之间实施检查，确保该操作是用户、代理和租户都允许的。
-
LLM JSON 截断：挽救数据而非代价高昂的重试
当 LLM 截断 JSON 响应时，开发人员可以通过实施一种挽救已完成记录的策略来避免代价高昂的重试。与其仅仅增加 `max_tokens` 限制（这通常会导致重复截断和浪费 API 调用），不如使用 `json.JSONDecoder().raw_decode` 是一种更有效的方法。此方法允许开发人员解析截断点之前有效的 JSON 对象，然后恢复生成不完整的部分。Anthropic 和 OpenAI 的 API 都提供信号，例如 `…