Azure Kubernetes Service
PulseAugur coverage of Azure Kubernetes Service — every cluster mentioning Azure Kubernetes Service across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
GitHub Actions运行器在Azure Kubernetes Service上得到优化
一个平台团队通过在Azure Kubernetes Service上重建GitHub Actions运行器,显著提高了其性能。此次优化将冷启动时间缩短了5-10分钟,并将整体流水线执行时间从大约40分钟缩短到10-15分钟。这些更改还带来了显著的成本降低,每月计算费用减少了约66%。
-
使用 Streamable HTTP 在 Kubernetes 上部署 MCP 服务器
本文详细介绍了如何在 Kubernetes 上部署 MCP 服务器,重点在于将最初使用 stdio 进行通信的服务器适配到网络化环境中。文章解释说,关键在于容器化之前将服务器的传输机制更改为 Streamable HTTP,而不是仅仅依赖 Kubernetes 网络。该指南涵盖了使用特定环境变量(用于传输、地址和端点)配置 Dockerfile,以及设置 Kubernetes 部署探针(/health 和 /ready)以准确反映服务…
-
Microsoft 详解 Azure 机器学习 MLOps 参考架构
Microsoft 发布了 Azure 机器学习的参考架构,旨在指导企业构建安全、可靠且可扩展的 MLOps 解决方案。该架构利用了多种 Azure 服务,包括 Azure Databricks、Azure Kubernetes Service、Azure Data Factory 和 Azure Blob Storage,以简化机器学习的开发和运维生命周期。该指南旨在提高在 Azure 生态系统中进行数据管理、模型训练、部署和监控等任务的效率。
-
Microsoft Reactor 演示使用 AI 分析 150 年足球比赛结果
一场 Microsoft Reactor 直播展示了一个可在 GitHub 上找到的演示,该演示分析了自 1872 年以来的男子国际足球比赛结果。该项目使用 Python 和 SQL 进行计算,并由 AI 对数据进行解释。该演示可以在本地运行,无需 AI 模型,并且 AKS 和 Azure Container Apps 的部署文件包含在存储库中。
-
AI和数据将用于在Microsoft Reactor活动中确定最强足球队
一场Microsoft Reactor直播将探讨如何利用历史数据来确定有史以来最伟大的足球队。该活动定于太平洋夏令时间10月14日上午9点举行,届时将使用Python和SQL进行统计分析,并由AI提供解释。活动还将比较Azure Kubernetes Service (AKS)和Azure Container Apps上容器的性能,并考察其扩展、更新和回滚能力。
-
Anyscale 将托管 Ray 引入 Azure Kubernetes Service
Anyscale 提供了一项托管 Ray 服务,可以在客户的 Azure Kubernetes Service (AKS) 集群内运行。此集成允许用户直接在其现有的 Azure 基础设施内利用 Ray 的分布式计算能力。设置涉及仅出口运算符、用于身份验证的 Entra ID,以及网络和 Private Link 的注意事项。
-
Azure AI Foundry:缓存与 KV 缓存复用将 LLM 成本降低 50%
通过结合使用缓存、KV 缓存复用和智能路由,可以优化 Azure AI Foundry 上的 LLM 成本。一个 .NET LLM 服务通过实施这些策略,可以在保持低延迟的同时,将 token 支出降低高达 50%。关键考虑因素包括平衡模型粒度与成本、管理缓存一致性以及决定 KV 缓存复用的状态性。
-
NVIDIA 开源 OSMO 以统一 AI 机器人开发
NVIDIA 已开源 OSMO,一个为简化物理 AI 开发而设计的原生 Kubernetes 工作流编排器。该工具允许机器人团队在单个 YAML 文件中定义训练、模拟和机器人测试流程,解决了不同计算层之间的碎片化问题。OSMO 支持跨各种 Kubernetes 环境和边缘设备的便携性,简化了机器人 AI 开发的复杂过程。
-
Anyscale 的 Azure Kubernetes 架构详解
本文详细技术性地解释了 Anyscale 在 Azure Kubernetes Service (AKS) 上的架构。它概述了双平面 Azure 设置,并描述了 Ray Data、Train 和 Serve 管道。文章还阐明了 Anyscale 的托管服务与底层 Azure 基础设施之间的操作边界。
-
使用 Azure ML 设置安全的 MLOps 环境
本文详细介绍了如何使用 Azure ML 基础设施建立一个安全的 MLOps 环境。它侧重于为研究人员设置强大的安全措施,涵盖从开发到部署的各个方面。该指南强调了在 Azure 生态系统中管理敏感数据和模型的最佳实践。
-
AI 模型 GPU 选型指南侧重于权重和 KV 缓存的显存
本文为站点可靠性工程师提供了一种估算托管 AI 模型所需的 GPU 内存(显存)的方法。它将显存消耗分解为模型权重、并发请求的 KV 缓存以及其他开销。该指南强调了 AWQ 等量化技术如何显著减小模型权重的内存占用,从而为 KV 缓存腾出显存,进而提高服务容量。
-
通过选择更好的信号修复 vLLM 自动扩缩容抖动问题
本文解决了 vLLM 自动扩缩容中出现的“抖动”问题,即 Pod 在运行和失败状态之间快速循环,导致成本和延迟增加。作者解释说,这个问题通常源于选择了不合适的自动扩缩容信号,而不是配置不正确。文章详细介绍了通过三个步骤来改进自动扩缩容,即从任意阈值转移到计算阈值,最终实现一个稳定的设计,该设计使用更健壮的信号来防止振荡。
-
新框架提升AI长视频理解效率
研究人员开发了两个新框架EcoFrame和EviSelect,旨在提高大型语言模型处理长视频理解的效率。EcoFrame采用一种无需训练的方法,根据模型的输出不确定性和注意力模式来调整帧选择过程,实现了显著的加速,并且准确性与现有方法相当。EviSelect则采用一种基于目标模型内部注意力的动态视觉选择方法,通过自适应地调整采样率和空间分辨率,同时优化准确性和效率。
-
在 AKS 中自托管 Ollama Llama 3.2 模型以进行日志分析
本文详细介绍了在 Azure Kubernetes Service (AKS) 集群中自托管 Ollama Llama 3.2–1b 模型的过程。主要目标是通过在受控环境中部署模型来实现日志分析功能。作者侧重于设置和部署,而不是系统的性能指标。
-
Anyscale AI 平台在 Azure 上进入公开预览
Anyscale 已在其直接集成到 Microsoft Azure 的 AI 计算平台上启动公开预览。此集成允许企业在其自己的 Azure 租户内部署和管理 AI 工作负载,包括分布式训练和大规模推理。该平台利用开源 AI 计算引擎 Ray,并通过 Azure Native 集成提供治理、安全和通过现有 Azure 服务进行计费等功能。
-
CREST方法高效选取长视频关键帧
研究人员开发了CREST,一种用于高效选取长视频关键帧的新颖方法。这种无需训练的方法利用查询帧相关性的时间几何结构,特别关注局部曲率,以识别显著事件并将其与冗余片段区分开来。与启发式方法相比,CREST在LongVideoBench和VideoMME等基准测试中表现出更高的准确性,同时与更复杂的检索流程相比,显著降低了预处理成本。
-
Anyscale 在 Azure 上推出托管式 AI 服务,用于 Ray 工作负载
Anyscale 已在 Microsoft Azure 上推出其托管服务的私有预览版,旨在帮助企业构建和扩展 AI 工作负载。此次集成允许用户直接在 Azure 门户中配置和管理由 Ray 框架支持的 Anyscale。该服务通过 Azure 提供增强的安全功能和统一账单,并通过 Anyscale Runtime 优化性能,以经济高效地处理 AI 原生应用程序。
-
A2A agents 因 Nginx SSE 缓冲在 Azure 生产环境中遇到故障
作者详细介绍了将 A2A agent 协议部署到 Azure 时遇到的挑战,特别强调了 Nginx 入口控制器上服务器发送事件 (SSE) 缓冲问题。这个单一的注解错误导致了长达四小时的调试会话,尽管修复本身只用了十二分钟。本文旨在通过分享所吸取的经验教训,帮助其他人避免类似的生产部署陷阱。
-
GitHub Actions、GHCR 和 Azure 简化私有 AKS 容器部署
本文详细介绍了将容器化应用程序部署到私有 Azure Kubernetes Service (AKS) 集群的技术流程。文章概述了如何使用 GitHub Actions 进行持续集成和持续部署 (CI/CD),利用 GitHub Container Registry (GHCR) 进行镜像存储,以及使用 Azure 服务进行部署基础设施。该指南旨在为管理应用程序部署的开发人员提供分步指南。
-
Microsoft 增强 Azure Local 以支持大规模主权云部署
Microsoft 已显著升级了其本地云产品 Azure Local,以支持大规模主权云部署。此次升级包括计算和存储的独立扩展能力、使用 SAN 的能力以及用于管理的新本地控制平面。这些更改旨在解决有关数据管辖权和外部干预的担忧,使组织能够更好地控制其基础设施。