PulseAugur
中
实时 02:14:12
实体 AWS Trainium

AWS Trainium

PulseAugur coverage of AWS Trainium — every cluster mentioning AWS Trainium across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
19
90 天内 22
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/2 页 · 共 22 条
  1. TOOL · CL_365708 ·

    AWS SageMaker HyperPod 提升 AI 训练可观察性和恢复能力

    AWS 增强了 Amazon SageMaker HyperPod 的功能,以改进大规模 AI 模型训练作业的可观察性和恢复能力。这些更新旨在缩短诊断和解决可能导致昂贵的 GPU 训练工作负载停滞的问题所需的时间和成本。增强功能包括标记表现不佳的 GPU 的诊断摘要、更早捕获故障的工作负载恢复机制以及超出基本节点健康状况的扩展基础设施检查。

  2. RESEARCH · CL_360183 ·

    新研究探讨LLM推理优化、批处理和可复现性

    多篇研究论文和项目正在探索优化大型语言模型(LLM)推理的高级技术,特别关注效率和可扩展性。一篇论文介绍了BatchGen,一种用于批推理的架构,它使用序列协程计算模型来处理可变工作负载并提高GPU利用率。另一项研究“沉默的超参数”(The Silent Hyperparameter)量化了vLLM、SGLang和llama.cpp等不同的推理后端如何显著影响LLM基准测试结果和可复现性。此外,还在研究用于NVIDIA Blackwe…

  3. TOOL · CL_355456 ·

    GitHub 指导代理技能;AWS 在 Trainium 上赋能前沿 AI

    GitHub 发布了关于构建可在各种 AI 代理中运行的代理技能的指南,为开发多功能 AI 功能提供了一种实用方法。同时,AWS Machine Learning 正通过使用 SGLang-Neuron 框架来增强性能,从而在其 AWS Trainium 芯片上实现先进 AI 模型的部署。

  4. TOOL · CL_355284 ·

    AWS Trainium 现在通过 SGLang-Neuron 集成支持前沿 AI 模型

    Amazon 宣布 SGLang-Neuron 公开可用,这是一个支持在 AWS Trainium 芯片上部署前沿 AI 模型的工具。此新集成可通过 AWS 深度学习容器访问,允许用户使用熟悉的 SGLang 界面来服务模型和生成强化学习回滚。SGLang-Neuron 作为一种外部插件,连接 SGLang 和 AWS Trainium,利用原生 PyTorch 和优化的内核来提高性能。

  5. TOOL · CL_353703 ·

    AWS re:Invent 2026 将举办超过 140 场 AI/ML 会议

    Amazon Web Services (AWS) 正在为其年度 re:Invent 活动做准备,该活动定于 2026 年 11 月 30 日至 12 月 4 日举行。本次活动将提供 2,000 多场学习会议,其中超过 140 场专门针对 AI/ML 课程。参会者可以选择各种会议形式,包括分组会议、技术讲座、构建者会议、研讨会和代码讲座,以加深对 AWS 技术的理解。AI/ML 课程将涵盖 AWS 的全面 AI 产品组合,从全球基础设…

  6. SIGNIFICANT · CL_350799 ·

    Anthropic 启动 IPO 路演,目标是获得 1 万亿美元估值,并有主要科技公司支持

    Anthropic 已正式启动其 IPO 路演,目标是筹集高达 644 亿美元,拟议的每股价格在 70 美元至 78 美元之间。该公司还将通过与包括 Google、Nvidia 和 Microsoft 在内的主要科技公司的私募配售筹集另外 260 亿美元。尽管与早期的估值预期相比有所下降,但 Anthropic 的收入增长迅速,这得益于强大的客户留存和扩张。该公司还详细介绍了其用于计算效率的多芯片战略,并将其 AI 产品套件从编码助手…

  7. SIGNIFICANT · CL_318807 ·

    Meta 的 Muse AI 将挑战 GPT 和 Claude,Llama 3.1 在 AWS 上获得性能提升

    Meta 的二把手 Alexander Wang 在日本讨论了他们即将推出的新 AI 模型 Muse。Muse 被定位为一款旨在与 GPT 和 Claude 等成熟模型竞争的“个人超级智能”。与此同时,AWS 宣布其 Trainium 和 Inferentia 芯片将为托管在 AWS 上的 Meta Llama 3.1 模型提供增强的性能和成本效益。

  8. SIGNIFICANT · CL_318186 ·

    Meta 计划进行 950 亿美元的股票销售以支持 AI;Anthropic 承诺投入 5670 亿美元用于计算

    Meta 计划通过股票销售筹集高达 950 亿美元,以资助其广泛的人工智能基础设施开发。此举是大型科技公司投入巨额资金用于计算资源这一更广泛趋势的一部分,例如 Anthropic 计划在计算和基础设施方面花费 5420 亿至 5670 亿美元。Anthropic 的策略包括从 Amazon、Google 和 Microsoft 等云提供商那里获取计算资源,同时通过“Anthropic Direct”计划开发自己的数据中心,以减轻依赖竞…

  9. TOOL · CL_318015 ·

    Hugging Face 工具检查 AWS Trainium 模型兼容性

    Hugging Face 推出了一个名为 TorchNeuron model support Space 的新工具,允许用户检查特定模型是否与 AWS Trainium 硬件兼容。该工具提供有关模型是否可在 Trainium 上未经修改地运行、所需核心数量以及执行时间的信息。用户还可以访问脚本自行运行这些模型,并可以选择使用公共缓存中的预编译图来加快进程。

  10. COMMENTARY · CL_316736 ·

    Anthropic寻求生命科学研究员;MIT设计出能自我感知物体;Amazon详解TorchNeuron

    Anthropic正在为其生命科学研究寻求客座研究员,而MIT正在开发一种设计软件,可以将日常物品转变为具有自我感知能力的设备。此外,Amazon Science详细介绍了其AWS Trainium芯片新PyTorch后端TorchNeuron背后的科学原理。

  11. TOOL · CL_314368 ·

    AWS 使用 TorchTitan 框架支持在 Trainium 上训练 Qwen3 LLM

    AWS 支持开发者使用其 Trainium 芯片和 TorchTitan 框架来训练 Qwen3 大型语言模型。此次集成支持灵活的训练方式,包括从头开始预训练或对现有模型进行微调。该过程利用标准的 PyTorch 接口,并提供了使用 Hugging Face 的 Transformers v5、TorchTitan 的原生 Qwen3 实现或通过 Neuron Kernel Interface 使用自定义内核的选项。

  12. TOOL · CL_314062 ·

    Hugging Face 详解在 AWS Trainium 上剖析 TorchNeuron

    Hugging Face 发布了一份指南,详细介绍了如何剖析 TorchNeuron,这是一个用于 AWS Trainium 芯片的开源 PyTorch 后端。该指南是系列的第一部分,侧重于深度学习工作负载的系统级性能分析。它解释了如何配置带有 Neuron 后端的 torch.profiler,并使用 Neuron Explorer 等工具解释捕获的跟踪以识别性能瓶颈。

  13. TOOL · CL_311264 ·

    Amazon 发布 TorchNeuron Beta 版,支持在 AWS Trainium 芯片上运行 PyTorch

    Amazon 已为其 TorchNeuron 公开测试版启动。TorchNeuron 是一个开源框架,旨在允许开发人员在 AWS Trainium 芯片上执行 PyTorch 代码。此举旨在为人工智能开发提供替代方案,并可能挑战 NVIDIA 在人工智能芯片市场中已有的软件优势。

  14. TOOL · CL_310333 ·

    Amazon 发布 TorchNeuron,支持在 Trainium 芯片上原生运行 PyTorch

    Amazon 发布了 TorchNeuron,这是一款开源工具,旨在让开发者能够直接在 AWS Trainium 芯片上运行 PyTorch 代码。这款新软件消除了开发者重写 AI 代码的需要,从而可以在 Amazon 的专用硬件上原生执行。

  15. TOOL · CL_309706 ·

    Anthropic的Claude AI因路由bug而退化,检查未能检测到

    Anthropic在2025年8月至9月初期间,由于三个基础设施bug,其Claude AI模型出现了显著的性能下降。这些问题主要影响了请求路由,导致部分用户(尤其是Claude Code用户)的服务器配置不正确。高峰时,16%的Sonnet 4请求受到影响,而Anthropic的内部检查未能检测到大范围的性能下降。

  16. TOOL · CL_309173 ·

    Deepgram 在 AWS Trainium 芯片上优化 Nova-3 语音 AI

    Deepgram 已通过将其 Nova-3 语音转文本模型移植到 AWS Trainium2 芯片,针对大规模离线批量推理进行了优化。与 AWS Forward Deployed Engineering 团队的合作涉及使用 AWS Neuron 软件堆栈和 PyTorch 重建。与之前的计算选项相比,优化后的配置使每美元处理的音频量增加了 11-70%,使 Deepgram 能够更有效地扩展并为客户提供更低的价格。

  17. TOOL · CL_309129 ·

    AWS vLLM 通过双向 KV 缓存传输改进代理工作负载的 TTFT

    AWS 在 vLLM 框架中引入了一种双向 KV 缓存传输机制,以提高多轮代理工作负载的性能。这种新方法允许预填充和解码节点跨对话轮次共享和重用先前计算的上下文,从而减少冗余计算并提高加速器利用率。在 Amazon EC2 P5en 实例上进行的基准测试显示,首次令牌时间 (TTFT) 显著缩短,对于 Qwen3-32B 最多提高 1.6 倍,对于 zai-org/GLM-5-FP8 最多提高 3.3 倍,具体取决于工作负载和配置。

  18. TOOL · CL_308942 ·

    vLLM 引入基于推送的 KV 传输以降低 LLM 推理延迟

    vLLM,一个用于大型语言模型推理的开源引擎,引入了一种基于推送的键值(KV)缓存传输机制,以提高分离推理设置的性能。这种新方法旨在通过优化 KV 缓存从预填充到解码实例的传输来减少首次令牌时间(TTFT)和每输出令牌时间(TPOT)。在 AWS EC2 P5en 实例上进行的基准测试显示,与之前的基于拉取的方法相比,Qwen3-32B 模型的 TTFT 提高了 3 倍,TPOT 提高了 30%。

  19. TOOL · CL_309431 ·

    Hugging Face 通过 TorchNeuron 简化在 AWS Trainium 上的 AI 模型部署

    Hugging Face 发布了 TorchNeuron,这是一个新的 PyTorch 插件,可以简化在 AWS Trainium AI 芯片上运行模型。该插件支持 eager 执行,并可直接与 PyTorch 的分布式原语(如 FSDP)集成,提高了与 Hugging Face 库(如 Transformers 和 Diffusers)的兼容性。TorchNeuron 开箱即用地支持 89% 的顶级文本生成模型架构,与 Optimu…

  20. RESEARCH · CL_228200 ·

    AWS 在 Forrester 报告中被评为 AI 基础设施领导者

    Amazon Web Services (AWS) 在 Forrester Wave:AI 基础设施解决方案,2025 年第四季度报告中被评为领导者。该评估认可了 AWS 在战略类别中的强劲表现,在当前产品和战略的 16 项标准中获得了最高分。AWS 的 AI 基础设施方法通过 AWS Inferentia、AWS Trainium 和 NVIDIA GPUs 等选项强调客户选择,旨在实现成本效益和灵活性。