AI workloads
PulseAugur coverage of AI workloads — every cluster mentioning AI workloads across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
HPC 和 AI 工作负载在共享集群上发生冲突，正在探索解决方案
Jeff Layton 的探讨深入研究了在共享集群上管理高性能计算 (HPC) 和 AI 工作负载所面临的挑战。文章讨论了调和批处理 HPC 作业的独特需求与 AI 训练的持续、资源密集型性质的潜在解决方案。它强调了需要有效的调度和资源分配策略来优化这两种类型工作负载的性能。
-
Kubernetes 和 Envoy AI Gateway 简化 AI 工作负载管理
文章讨论了 MLOps 的实现和架构，重点关注使用 Kubernetes 运行大规模 AI 工作负载。关键主题包括在 Kubernetes 上使用 KServe 进行模型服务，以及开发 Envoy AI Gateway 作为管理各种 LLM 流量的解决方案。Envoy AI Gateway 旨在通过抽象 API 调用、计费和响应流的差异，来标准化与 OpenAI、Anthropic 和 Bedrock 等不同 LLM 提供商的交互。
-
HPE 更新混合 AI 和 Agentic 工作负载的基础设施
慧与（HPE）正在更新其硬件、私有云和网络解决方案，以支持日益增长的 Agentic AI 工作负载需求。尽管公有云的采用率很高，但由于成本、数据敏感性和法规遵从性等原因，仍有相当一部分企业工作负载保留在本地。企业现在正在评估升级本地基础设施以支持 AI 的优势，混合部署正成为标准的运行假设。HPE 的战略与戴尔（Dell）和联想（Lenovo）等竞争对手一样，专注于提供本地 AI 基础设施，尤其针对受监管行业和主权 AI 的需求。
-
大型语言模型 (LLM) 自动化 AI 工作负载的 FPGA 加速器设计
研究人员开发了 SECDA-DSE，一个集成大型语言模型 (LLM) 以自动化 AI 工作负载的基于 FPGA 的加速器设计的框架。该系统使用 LLM 进行推理引导的探索，生成候选架构并通过反馈循环进行优化。该框架成功地在 FPGA 硬件上生成并执行了三个不同的加速器设计，证明了其为不同工作负载调整配置和减少手动设计工作的能力。
-
数据中心转向电池储能，减少对柴油的依赖以支持人工智能供电
数据中心正越来越多地采用电池储能系统（BESS）作为传统柴油发电机的替代方案，特别是为了应对人工智能工作负载波动的电力需求。这些系统可以提供快速的电力稳定，并减少对柴油的依赖，从而降低排放并改善社区关系。Oracle等主要公司正在整合BESS来缓冲电力波动，而其他公司则在探索与公用事业公司的合作以及与可再生能源混合的解决方案，以提高弹性和经济可行性。