Google Developers
PulseAugur coverage of Google Developers — every cluster mentioning Google Developers across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Google Developers 为 AI 代理工具调用增加了语义治理功能
Google Developers 推出了语义治理策略,允许开发者在 AI 代理工具调用执行前进行审查和批准。此功能旨在提供一层控制和监督,确保 AI 代理执行的操作符合开发者的意图和策略。
-
Google Developers 发布 Tunix 用于训练使用工具的 LLM 代理
Google Developers 发布了 Tunix,这是一个使开发者能够训练多轮、使用工具的 LLM 代理的框架。该框架利用 Gemma 4 和 Google 的 Cloud TPUs 进行高效训练。目标是简化能够进行复杂交互和工具利用的复杂 AI 代理的开发。
-
Google Developers 优化 AI 代理会话资源分配
AI代理会话通常会长时间空闲,当每个会话分配自己的专用Pod时,会导致资源分配效率低下。Google Developers建议通过为AI代理会话调整GKE节点池的大小来优化这一点,将它们视为持久会话而不是按请求分配,以提高效率。
-
Google Cloud 的 MaxText 框架支持在 TPU 上进行 1400 万 token 上下文训练
Google Cloud 的 MaxText 框架已更新,支持训练上下文窗口高达 1400 万个 token 的模型。这一进展得益于 Cloud TPU 的使用,特别是利用了上下文并行技术。此次更新旨在促进在 Google 基础设施上进行更广泛、更复杂的模型训练。
-
vLLM 0.33.0 要求使用 CUDA 13,采用 Model Runner V2,并提升速度
vLLM 发布了 0.33.0 版本,引入了重大变更,需要用户注意以确保顺利升级。该版本强制要求使用 CUDA 13.0,不再支持旧版本,并需要更新驱动程序。一个主要变化是完全采用 Model Runner V2 作为默认执行引擎,集成了自动 KV 缓存大小调整和批次分片采样等功能。虽然该版本移除了对 Medusa、MLP 预测器和旧版 Ray 执行器的支持,但通过调度器优化,它也带来了显著的性能提升,在不改变底层内核的情况下,输出令…
-
Google Developers 概述了用于 AI 代理的模块化提示转译
Google Developers 推出了一种模块化提示转译方法,该方法将大型单体提示分解为更小、可重用的模板。这种方法将提示视为构建构件,旨在解决 AI 代理基础设施中的扩展瓶颈。
-
Google 和 Anthropic 采用人工审核模式以确保 AI 代理安全
Google 和 Anthropic 等主要人工智能公司正在采用人工审核模式来增强代理安全性。这种方法将检查点集成到 AI 工作流程中,暂停代理以允许在继续之前由人类审查、批准或纠正关键或不可逆的操作。虽然这种模式增加了架构复杂性,并且需要仔细考虑人为因素才能保持有效,但它仍然是防止 AI 代理潜在错误或滥用的关键最后一道防线。
-
AI代理使用评估器-优化器循环进行精炼输出生成
评估器-优化器模式涉及一个AI代理生成输出,而另一个代理在循环中对其进行评估并提供反馈,旨在优化响应。Anthropic称之为评估器-优化器,而Google将其称为用于正确性的生成器-审阅器循环和用于质量的迭代优化循环。两种方法都需要明确的退出条件,以防止过高的成本和系统挂起,最大迭代次数是一项重要的安全措施。
-
Orchestrator-workers 模式动态分解 LLM 任务
Orchestrator-workers 模式,也称为分层任务分解,涉及一个中央代理在运行时动态地将复杂任务分解为子任务。然后,这些子任务被委派给专门的 worker 代理,其结果由 orchestrator 合成。这种方法特别适用于无法预定义子任务的模糊、开放式问题,例如编码或复杂的研���任务。然而,由于涉及大量的模型调用,它引入了显著的架构复杂性、增加的延迟和更高的运营成本。
-
Prompt chaining and sequential pipelines offer accuracy gains for LLM tasks
Prompt chaining,也被 Google 称为顺序流水线,是一种将复杂任务分解为一系列较小、固定步骤的方法。链中的每个步骤都会处理前一个步骤的输出,这可以以牺牲速度为代价来提高准确性。这种方法对于结构化、可重复的过程(如数据提取或内容生成)特别有用,并且在步骤之间包含程序化“门”有助于及早捕获错误并减少计算资源的浪费。