PulseAugur
中
实时 12:58:25
实体 Amazon EKS

Amazon EKS

PulseAugur coverage of Amazon EKS — every cluster mentioning Amazon EKS across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
21
90 天内 57
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
关系
情绪 · 30 天

10 天有情绪数据

最近 · 第 1/4 页 · 共 61 条
  1. TOOL · CL_367438 ·

    NVIDIA 为 Rust 中的 AI 代理开发提供支持,并提高 AWS GPU 利用率

    NVIDIA 使开发人员能够使用 Rust 为 AI 代理构建工具调用解析器,从而促进更复杂的交互。此外,AWS 正在集成 NVIDIA 的 Run:ai 技术,用于在 Amazon EKS 上进行 GPU 分片,从而优化机器学习工作负载的资源利用率。

  2. TOOL · CL_367304 ·

    NVIDIA Run:ai GPU 分片技术可在Amazon EKS上实现GPU共享使用

    NVIDIA Run:ai GPU 分片技术现已支持Amazon Elastic Kubernetes Service (EKS),允许多个团队共享单个GPU。该开源软件基于NVIDIA的多进程服务(MPS)构建,提供与Kubernetes集成的调度、每个Pod的内存合约以及强制执行。该解决方案特别适用于可能因内存限制而导致GPU利用率不足的工作负载,例如笔记本电脑、模型评估和小型推理服务。本教程演示了如何在配备NVIDIA A10G…

  3. TOOL · CL_365708 ·

    AWS SageMaker HyperPod 提升 AI 训练可观察性和恢复能力

    AWS 增强了 Amazon SageMaker HyperPod 的功能,以改进大规模 AI 模型训练作业的可观察性和恢复能力。这些更新旨在缩短诊断和解决可能导致昂贵的 GPU 训练工作负载停滞的问题所需的时间和成本。增强功能包括标记表现不佳的 GPU 的诊断摘要、更早捕获故障的工作负载恢复机制以及超出基本节点健康状况的扩展基础设施检查。

  4. TOOL · CL_365075 ·

    作者通过本地 Kubernetes 测试修复了 LLM 自动扩展错误

    作者详细介绍了使用 vLLM 和 Keda 在 Amazon EKS 上自动扩展自托管 LLM 平台 OzAI 的尝试。虽然使用 Terraform 和 Karpenter 准备了基础设施设置,但重点转移到了测试自动扩展逻辑本身。作者使用本地 Kubernetes 集群和 llama.cpp(而非 GPU)进行测试,发现了并修复了自动扩展设计中的一个错误,该设计旨在根据等待请求的数量而不是 CPU 或 GPU 利用率进行扩展。负载测试…

  5. TOOL · CL_356664 ·

    AWS SageMaker HyperPod 增加数据捕获以改进模型

    Amazon SageMaker HyperPod 推出了一项新的数据捕获功能,旨在帮助组织改进其已部署的基础模型。此功能可自动记录实时推理的输入和输出,并将它们存储在 Amazon S3 中以供分析。该系统允许团队检测模型漂移、识别失败模式,并利用真实世界的交互来重新训练和增强模型,正如在涉及家用电器支持路由器的演练中所演示的那样。

  6. TOOL · CL_351012 ·

    AWS Bedrock AgentCore 新增 Web Answer 功能,用于合成、引用的搜索结果

    AWS 在 Amazon Bedrock AgentCore 中推出了一项名为 Web Answer 的新功能,该功能可以综合自然语言问题的答案,并在一次工具调用中提供引用的来源 URL。这个托管连接器通过处理搜索规划、并行执行、事实核查和来源引用,简化了将网络搜索集成到代理中的过程。与之前的 Web Search 功能不同,Web Answer 旨在提供直接、可验证的答案,减少代理处理原始搜索结果和管理上下文窗口的需求。该功能提供管…

  7. TOOL · CL_340744 ·

    CloudPouch 2.0 发布,通过清理资源来降低 AWS 成本

    CloudPouch 工具的新版本 CloudPouch 2.0 已发布,旨在帮助用户识别和减少不必要的 AWS 支出。该工具专注于清理未使用的或过大的资源,例如未挂载的 EBS 卷、旧快照和闲置的 NAT 网关,这些资源可能占每月 AWS 账单的 14% 至 44%。开发者强调,这些节省是通过清理实现的,而不是通过昂贵的架构重建,从而解决了用户在成本优化方面的普遍顾虑。

  8. TOOL · CL_336613 ·

    DevOps工程师在笔记本上搭建自托管ChatGPT平台

    一位DevOps工程师开发了一个名为OzAI的自托管AI平台,旨在笔记本电脑上运行开源大语言模型。该平台使用Ollama执行模型,LiteLLM作为API网关,提供虚拟密钥和速率限制等功能,并使用Open WebUI提供类似ChatGPT的界面。对于近期事件查询,它集成了SearXNG,并使用Grafana进行监控。初始设置利用了一台配备16GB内存的MacBook Pro M1 Pro,并计划在后续系列文章中扩展到Amazon EK…

  9. RESEARCH · CL_334166 ·

    MLOps系列探讨机器学习系统的生产化

    本系列文章深入探讨了MLOps的复杂性,重点关注将机器学习系统投入生产的艺术。内容涵盖了MLOps成熟度模型、高级技术以及特定平台集成等多个方面。文章探讨了LLMOps、Kubernetes以及Azure、Google Cloud和AWS等云平台的主题,详细介绍了Amazon SageMaker、EKS和S3等服务。

  10. SIGNIFICANT · CL_333634 ·

    NVIDIA Nemotron 3.5 Super VL 模型现已在 AWS 上提供,用于 agentic AI

    NVIDIA 发布了其 Nemotron 3.5 Super VL 模型,这是一个拥有 1200 亿参数的混合专家模型,专为 agentic AI 应用而设计。该模型结合了推理、工具使用和多模态理解能力。它现已在 Amazon EKS 和 SageMaker HyperPod 上可用,使用户能够加速其 AI 开发和部署。

  11. TOOL · CL_330085 ·

    AWS 通过新的集成和模型访问增强 AI 代理功能 · 跟踪 3 个来源

    AWS 正在增强其机器学习产品,以支持代理式 AI 的开发。MoEngage 已使用 AgentCore Gateway 将 400 多个 API 集成到代理工具中,并利用了 AWS 服务。此外,NVIDIA 的 Nemotron 模型现已在 Amazon EKS 和 SageMaker HyperPod 上可用,旨在加速 AI 代理的创建。

  12. FRONTIER RELEASE · CL_330050 ·

    NVIDIA Nemotron 3.5 Super VL 模型部署在 AWS 上以支持 Agentic AI

    NVIDIA 发布了其 Nemotron 3.5 Super VL 模型,这是一款拥有 1200 亿参数的混合专家模型,能够进行多模态理解和 Agentic 工作流。该模型将推理和工具使用与文本、图像、文档和视频处理相结合。它在 Hermes Bench 和 LangChain agent 评估等基准测试中表现强劲。Nemotron 3.5 Super VL 现在可以部署在包括 Amazon EKS 和 Amazon SageMake…

  13. TOOL · CL_328608 ·

    AWS 通过 EKS 上的新 Ray Train DLC 简化分布式 AI 训练

    AWS 发布了用于 Ray Train 的新深度学习容器 (DLC),简化了在 Amazon Elastic Kubernetes Service (EKS) 上进行分布式 AI 模型训练的过程。这些预构建的容器集成了 PyTorch、NCCL 和 Elastic Fabric Adapter (EFA) 库等关键组件,无需用户构建和管理复杂的训练环境。这些 DLC 设计用于与 KubeRay(一个开源 Kubernetes 运算符)…

  14. TOOL · CL_318440 ·

    AWS SageMaker AI 推出多轮强化学习,用于顺序任务

    Amazon SageMaker AI 现在支持多轮强化学习 (MTRL),这是一种用于训练需要顺序动作的任务的模型的方法。这种方法使用任务的整体成功或失败作为训练信号,而不是单个步骤的正确性。该指南使用 Wordle 游戏演示了 MTRL,展示了它如何以适度的训练成本显著提高了 GPT OSS 20B 模型的解决率。

  15. TOOL · CL_308706 ·

    49个云和AI截止日期至2026年详情一览

    一份全面的列表概述了截至2026年的49个云和AI相关截止日期。该汇编包括了OpenAI和Gemini等主要AI模型的关键日期,以及AWS Lambda、Cloud Run、Google Kubernetes Engine和Amazon EKS等云服务的更新。它还涵盖了GitHub runners等开发工具以及Vercel和Heroku等平台的时程表,并为每个截止日期提供了可行的步骤。

  16. TOOL · CL_308499 ·

    将 FastMCP 服务器部署到 AWS EKS 以集成 Claude Code

    本教程详细介绍了如何在 Amazon Elastic Kubernetes Service (EKS) 上部署一个基于 Python 的模型上下文协议 (MCP) 服务器,该服务器使用 FastMCP 构建。该过程包括构建 Docker 镜像,将其推送到 Amazon Elastic Container Registry (ECR),然后配置 EKS 集群。最后,将 MCP 服务器部署到集群,通过 Kubernetes LoadBal…

  17. TOOL · CL_303822 ·

    使用 Streamable HTTP 在 Kubernetes 上部署 MCP 服务器

    本文详细介绍了如何在 Kubernetes 上部署 MCP 服务器,重点在于将最初使用 stdio 进行通信的服务器适配到网络化环境中。文章解释说,关键在于容器化之前将服务器的传输机制更改为 Streamable HTTP,而不是仅仅依赖 Kubernetes 网络。该指南涵盖了使用特定环境变量(用于传输、地址和端点)配置 Dockerfile,以及设置 Kubernetes 部署探针(/health 和 /ready)以准确反映服务…

  18. TOOL · CL_296233 ·

    Ray LLM 容器简化了 Amazon EKS 上的双 GPU 节点 LLM 部署

    Ray LLM 深度学习容器提供了一种在新方法,可以在 Amazon EKS 上的两个 GPU 节点上部署大型语言模型。此设置将预填充和解码节点分开,同时将它们置于单个 OpenAI 兼容的端点后面。预构建的堆栈旨在将部署过程从手动组装简化为直接配置。

  19. RESEARCH · CL_295606 ·

    通过量化、内存、并行和调度探索 LLM 推理效率

    研究人员正在探索各种方法来提高大型语言模型 (LLM) 推理的效率和可扩展性。一种方法侧重于通过量化技术实现能源效率,在精度损失极小的情况下展示出显著的节能效果,尤其是在融合内核实现中。另一个研究领域涉及为 LLM 加装外部内存模块,以更有效地处理长上下文,提高准确性并减少内存使用。此外,研究正在调查并行策略,例如张量并行和流水线并行,以优化分布式 LLM 服务系统的吞吐量和延迟权衡。最后,正在为无服务器 LLM 推理开发新颖的调度框…

  20. TOOL · CL_293488 ·

    Terraform简化了复杂AI应用程序的AWS基础设施

    本文探讨了如何使用HashiCorp Terraform在AWS上配置和管理可扩展的AI基础设施。文章强调了设置AI系统的复杂性,这些系统通常需要GPU计算、数据管道、模型端点和向量数据库。Terraform作为一种基础设施即代码工具,允许用户声明式地定义这些AWS资源,确保开发、测试和生产环境的一致性。文章还展示了一个检索增强生成(RAG)应用程序的示例架构,说明了S3、Lambda、SageMaker、Bedrock和OpenSe…