bedrock
PulseAugur coverage of bedrock — every cluster mentioning bedrock across labs, papers, and developer communities, ranked by signal.
- acquired by Helicone 90%
- uses Bifröst 90%
- used by foundry 70%
- used by Claude Opus-5 70%
- partners with foundry 70%
- used by Bifröst 70%
- affiliated with Bifröst 70%
- used by Google Cloud Vertex AI 70%
- used by Nexus Labs 70%
- used by Portkey 70%
- affiliated with Google Cloud Vertex AI 60%
- invested by Claude Opus-5 60%
16 天有情绪数据
-
AWS语义缓存通过匹配查询含义来降低LLM成本
本文详细介绍了如何在AWS上实现语义缓存,以降低LLM成本和延迟。文章解释说,传统的键值缓存之所以失败,是因为用户提问的方式不同,而语义缓存则根据查询的含义进行匹配。实现过程使用了AWS服务,如API Gateway、Lambda和ElastiCache(配合Valkey进行向量搜索),并采用Amazon Titan Text Embeddings V2进行高效的向量生成。文章强调的一个关键方面是需要正确的范围界定和失效机制,以防止数…
-
Anthropic 将于 2026 年 11 月退役 Claude Sonnet 4.5 模型
Anthropic 将于 2026 年 11 月 30 日退役 Claude Sonnet 4.5 模型,此后对其模型 ID 的请求将失败。建议开发者迁移到 Claude Sonnet 5.5,检查应用程序代码、环境变量和基础设施配置中旧模型 ID 的实例。SunsetLint 等工具可以自动化检测存储库中的这些模型 ID,支持 Anthropic、OpenAI 和 Google Gemini 等各种提供商。
-
Anthropic 的 Fable 5.2 在 Bedrock 上可用,Ollama 更新,以及 NVIDIA Nemotron 3.5 Super VL 发布
Anthropic 的 Fable 5.2 模型现已在 Amazon Bedrock 上可用,但开发者必须自行实现拒绝处理和账户级保留设置。Ollama 的最新更新(v0.40.16)为 Claude Code 引入了确定性路由,并减少了 Apple silicon 上某些模型的内存使用,尽管输出截断行为已发生变化。NVIDIA 还通过 SageMaker JumpStart 发布了其 Nemotron 3.5 Super VL,这是…
-
Anthropic 的 Claude Code 增加了对权限提示的自动拒绝功能
Anthropic 的 Claude Code v2.1.319 于 2026 年 11 月 6 日发布,引入了一个名为 denyInsteadOfPrompting 的新权限设置。此功能会自动拒绝任何通常需要权限提示的工具调用,从而使会话能够不间断地继续。此更改会影响终端会话、子代理和队友,并将 MCP 任务调用移至后台。ScriptMasterLabs 提供 Verdict Protocol 服务,为此类调用提供评分、密封的决策,…
-
大语言模型考试揭示了提示词的有效性超越了可发布性
一位用户在一次包含32个问题的考试中测试了包括GPT-4、Claude 3 Opus和Gemini在内的大型语言模型,以评估它们在分类真实世界工单方面的表现。用户发现,得分更高的提示词是那个无法直接实现或发布的。这表明提示词的有效性可能不仅取决于其技术上的可部署性,还取决于其引发模型更好响应的细微能力。
-
Claude Code 2.1.319 通过后台任务和拒绝设置增强代理稳定性
Claude Code 发布了 2.1.319 版本,为开发者带来了显著的改进,特别是对于运行无人值守代理的开发者。此次更新包括一项新设置,可拒绝需要权限提示的工具调用,防止代理无限期挂起。此外,它允许长时间运行的 MCP(消息通信协议)工具调用在后台运行,而不是阻塞整个会话。此版本还解决了许多错误修复,提高了 Claude Code 环境的整体稳定性和可用性。
-
Claude Code更新自动模式,增强安全性;Codex发布新功能
Claude Code发布了多个更新,包括2.1.319版本,该版本修改了自动模式,使其不再回退到内置分类器,而是询问或拒绝无法检查的服务器调用。此更改会影响无人值守运行,并新增了`permissions.denyInsteadOfPrompting`设置。此外,还实施了安全修复,并且用户现在可以看到登录过期时间。Codex v0.167.0包含六个新功能和若干修复,特别改进了已保存聊天和网络批准提示的处理。
-
Buoyant开源Kinference,优化Kubernetes上的LLM推理
Buoyant发布了Kinference,一个开源控制平面,旨在利用vLLM在Kubernetes集群上管理大型语言模型推理。该新工具引入了策略驱动的路由、令牌速率限制和感知KV缓存的负载均衡,以优化模型服务。基准测试表明,在首个令牌时间和吞吐量方面有了显著的改进,特别是在具有共享前缀的工作负载中,尽管对于没有共享缓存数据的提示,性能提升不太明显。
-
生成式 AI 概念:标记化、上下文窗口和嵌入式解释
本文解释了生成式 AI 的基本概念,重点关注标记化、上下文窗口和嵌入式。标记化将文本分解为 AI 模型可管理的单元,其中像字节对编码这样的子词标记化是一种常用方法。上下文窗口定义了 AI 可以同时处理的文本量,影响其在更长交互中保持连贯性的能力。嵌入式将单词和句子表示为数值向量,使 AI 能够掌握语义关系并改进搜索和推荐等任务。
-
AI开发平台遭遇API密钥盗窃激增
Wiz的最新报告指出,针对AI开发平台的安全事件激增,仅在10月份就有至少九个平台遭受了数据泄露。主要目标是存储在环境变量中的API密钥和服务提供商的秘密。这些被泄露的密钥被迅速利用,导致了大量的模型使用和重大的经济损失,其中一起事件导致模型调用账单超过10万美元。11月份,GitBook也遭受了泄露,一个AI代理访问了基础设施凭证,迫使所有用户API令牌失效。
-
AIOps供应商主要控制大型语言模型集成,限制客户选择
对28款AIOps产品的审查显示,大多数供应商为客户管理大型语言模型集成,其中13款产品在使用模型方面没有选择。虽然一些供应商允许客户接入自己的模型,但这通常意味着在客户账户下使用公共云提供商,而不是本地硬件。开源代理和本地部署是例外,供应商越来越专注于提供代理并允许客户连接他们偏好的模型。
-
Anthropic 停用 Claude Opus 4.8 快速模式,增加子代理控制
Anthropic 发布了 Claude Code 2.1.316,引入了一个用于控制子代理努力度的新环境变量,并宣布停用 Opus 4.8 的快速模式。此次更新还包括了基础设施改进,如池化组预算和网关的分层策略模式,尽管这些主要面向企业用户。Opus 4.8 快速模式的停用(将由 Opus 5.5 取代)将于 2026 年 11 月 30 日完全移除,敦促用户迁移其工作流程。
-
AI融入软件开发工作流,平衡成本与复杂性
初创公司和软件公司正在探索将AI融入其开发工作流的方法,从简单的代码生成扩展到更复杂的基于代理的系统。一种方法是采用混合模型,其中本地、开源AI处理低复杂度任务和组织数据检索,而商业AI模型则负责更复杂的操作。该策略旨在降低与大量token使用相关的成本并提高效率。有效的实施需要仔细的上下文工程、强大的工件管理以及人类角色向更高级别的决策和监督的转变。
-
OpenTelemetry 用于 LLM API,原生钩子用于编码代理
文章区分了企业中大型语言模型 (LLM) 的两种主要用途:应用程序拥有的 API 调用和开发人员编码代理。对于应用程序拥有的 LLM 交互,建议使用 OpenTelemetry 作为可观察性的集成边界,允许现有基础设施导出遥测数据,而无需更改推理路径。相比之下,开发人员编码代理(如 Claude Code 或 Cursor)需要原生生命周期钩子和会话信息来捕获更丰富的上下文,例如文件编辑、终端命令和权限决策,这些信息无法通过标准的 O…
-
LLM API成本:除令牌外,控制因素包括模型选择、重试和功能
多篇文章讨论了控制大型语言模型(LLM)API成本的策略,强调令牌数量只是一个因素。除了令牌之外,成本还受模型层级、失败后的重试、重复请求以及使用生成比必要上下文或输出更多的功能的驱动。专家建议在API调用前实施成本感知决策层,跟踪每个租户和每个请求的成本,设置有界重试策略,并选择能够满足质量目标的最简单的模型。这种方法旨在使LLM的使用更具可预测性和可审计性。
-
“Black October” API 密钥盗窃案波及九个 AI 开发平台
2026 年 10 月,一场被称为“Black October”的协调攻击导致至少九个 AI 开发者平台遭受安全漏洞。攻击者专门窃取 AI 模型 API 密钥,通常在漏洞发生后 30 分钟内完成,并进行转售。这些密钥被用于“LLMJacking”,即劫持昂贵的 AI 服务以进行欺诈目的,导致重大的经济损失和潜在的模型蒸馏。
-
Anthropic 的 Claude Code 2.1.314 通过写入限制增强安全性
Anthropic 发布了 Claude Code 2.1.314,引入了一项新的安全功能,可防止该工具写入用户指定工作目录之外的文件。此次更新还通过实现空闲压缩来增强会话管理,空闲压缩会总结长对话以防止上下文窗口膨胀,并改进了云会话的错误处理以及对标记请求的重试。这些更改旨在提高使用 Claude Code 的开发者的安全性和用户体验。
-
Mistral AI 发布万亿参数 Large 4 模型开放权重
Mistral AI 在首次预览三周后,发布了其万亿参数 Large 4 模型(昵称为 Le Chonk)的开放权重。该模型是混合专家模型,意味着任何给定时间只有一小部分参数处于激活状态。Mistral Large 4 可处理文本和图像,提供多种推理设置,支持 100 万 token 的上下文窗口,并在编码基准测试中表现出竞争力,但其在网络攻击中被滥用的潜力令人担忧。
-
Bedrock 提示缓存通过 TypeScript 助手大幅降低 Claude 成本
本文详细介绍了如何在 Amazon Bedrock 上为 Anthropic 的 Claude 模型实现提示缓存,以降低成本并提高响应时间。提示缓存会存储提示中不变的初始部分,例如系统指令或工具定义,这样模型就不必在每次请求时重新处理它们。作者演示了如何使用 TypeScript、AWS Lambda 和 Serverless Framework 构建一个助手,展示了如何配置显式缓存(带缓存点)并使用 CloudWatch Logs …
-
Ragas 库为 RAG 管道提供量化评估
Ragas 是一个开源库,它提供了一种量化方法来评估检索增强生成 (RAG) 管道,超越了主观评估。它提供了四个关键指标:忠实度、上下文召回率、上下文精确率和答案相关性,所有这些都由 LLM 进行判断。该库支持 OpenAI、Anthropic 和 Google 等各种 LLM 提供商,并已更新至 0.4.x 版本,其 API 和指标收集有所更改。