PulseAugur
中
实时 20:19:13
实体 InferenceX

InferenceX

PulseAugur coverage of InferenceX — every cluster mentioning InferenceX across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
7
90 天内 22
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/2 页 · 共 22 条
  1. TOOL · CL_362563 ·

    Sarvam推出集成了8个开源模型的印度托管推理平台

    Sarvam 推出了 Sarvam Token Factory,这是一个托管在印度的推理平台,通过单一的 OpenAI 兼容 API 提供对八个开源模型(open-weight models)的访问。该服务利用 NVIDIA B200 集群,旨在通过将流量保留在国内来为印度开发者提供低延迟推理。Sarvam 报告称,与 InferenceX 等竞争对手相比,其性能有了显著提升,包括更快的首个 token 响应时间和更高的吞吐量,特别是…

  2. TOOL · CL_357568 ·

    Together AI发布用于持续AI推理优化的编译器

    Together AI的研究人员开发了Together Compiler (TKCC),这是一个专为持续优化AI推理工作负载而设计的新颖系统。TKCC通过采用基于代理的循环来平衡测量吞吐量和计算保真度,从而应对快速发展的AI模型和多样化流量模式的挑战。该系统引入了分层持久引擎以减少引擎启动开销,并使用成本模型来选择最佳并行配置。在生产环境中,TKCC已展示出显著的性能提升,在各种前沿模型和硬件平台上超越了高度优化的内核和开源引擎,为其…

  3. TOOL · CL_354106 ·

    Together AI编译器在NVIDIA硬件上将推理吞吐量提高高达2.7倍

    Together AI发布了基准测试,展示了其编译器在性能上的显著提升。与在NVIDIA B200和B300硬件上优化的InferenceX配置相比,Together Compiler在多种模型上实现了高达2.7倍的吞吐量提升。具体而言,Kimi K3的提升率为2.7倍,GLM-5.3和DeepSeek V4.1 Flash均实现了1.8倍的提升,而MiniMax M3.1 Flash的吞吐量提升了1.5倍。

  4. TOOL · CL_343160 ·

    新的运行时编译将 AI 模型吞吐量提高了 2.6 倍

    一种新的运行时编译技术已被开发出来,可显著提高 AI 模型的吞吐量。与标准的 InferenceX 设置相比,该方法在每种模型 24 小时的训练时间内,每秒交易量 (TPS) 提高了高达 2.6 倍。这一进步代表着机器学习向更动态、自适应的运行时环境迈进。

  5. TOOL · CL_346888 ·

    Together AI发布Together Compiler以持续优化AI推理

    Together AI 推出了 Together Compiler (TKCC),这是一个专为AI推理中的持续编译而设计的新系统。这项创新旨在自动提升AI模型的性能并确保其准确性。该编译器能够适应推理的动态特性,并且OpenRouter等平台上有相当一部分流量在使用最近发布的模型。

  6. SIGNIFICANT · CL_335366 ·

    Together Compiler 优化 AI 推理,Flide 加速决策模型 · 跟踪 7 个来源

    Together AI 推出了 Together Compiler,这是一个由代理驱动的系统,旨在为生产流量持续优化 AI 推理。该系统旨在通过适应不断变化的模型、硬件和用户行为来解决 AI 工作负载的动态性,在各种开源模型上实现了高达 2.6 倍的吞吐量。与每次优化测试都需要重启推理引擎的传统方法不同,Together Compiler 使用持久引擎和并行代理来最大化实验吞吐量。另外,一篇新论文介绍了 Flide,这是一个推理引擎,…

  7. SIGNIFICANT · CL_298147 ·

    NVIDIA SGLang Rubin GPU 每美元性能优势达 4.23 倍

    SemiAnalysis 报道称,NVIDIA 的 SGLang 推理引擎在使用 Rubin NVL72 GPU 时,相比 GB300 NVL72 展现出显著的性能和成本优势。SGLang 引擎与 Qwen3.8 Flash Next 180B 模型集成,与前代产品相比,每美元性能提高了 4.23 倍。这一进步通过在较小模型上的预览提交得到突出,预计未来提交中将包含 GLM5.3 系列等更大模型。

  8. COMMENTARY · CL_277807 ·

    SemiAnalysis 讨论 GPU 经济学、InferenceX 和新硬件

    SemiAnalysis 讨论了 GPU 的经济学,其中 InferenceX 团队分享了关于 Engram 内存卸载和 AgentX 利润计算器的见解。对话还涉及 TPU v7,Vera Rubin 与 Blackwell 架构的比较,以及更快的 token 处理的价值。此外,还强调了 TileRT 在推动 NVIDIA GPU 方面的进展,并讨论了专用芯片。

  9. TOOL · CL_270279 ·

    GLM5.3稀疏注意力机制影响HBM内存使用

    SemiAnalysis详细介绍了GLM5.3的稀疏注意力机制如何影响高带宽内存(HBM)的使用。该分析涵盖了KV缓存卸载和HiSparse等关键技术,这些技术对于优化性能至关重要。它还涉及AgentX TileRT和InferenceX,暗示了AI推理效率的进步。

  10. TOOL · CL_268445 ·

    OpenAI定制Jalapeño AI芯片优先内部使用,暗示未来可能推出

    OpenAI已开发出名为Jalapeño的定制AI推理ASIC,主要用于满足其日益增长的计算需求。虽然该芯片设计为可编程,能够运行OpenAI自身以外的各种模型,但公司目前的重点是满足内部需求。OpenAI已表示未来有可能向外部广泛推出,但供应链限制和内部需求目前优先。

  11. TOOL · CL_253763 ·

    Vera Rubin NVL72 Agentic Inference System 声称性能提升 67 倍

    SemiAnalysis 报道了 Vera Rubin NVL72,一个声称在每美元性能上提供 67 倍提升的 agentic inference 系统。该系统还声称每兆瓦年利润翻倍,并且其模型中购买力增加会导致收益增加。提到的关键组件包括 AgentX、InferenceX 和 Extreme Co-Design,这表明其专注于用户驱动的开发和优化。

  12. RESEARCH · CL_242661 ·

    TPUv7 推出 SparseCore,吞吐量提升 12%,性能超越 Blackwell Ultra

    TPUv7 配备了一个称为 SparseCore 的专用硬件单元,用于通过对专家 token 进行分组来管理数据移动。此优化与用于矩阵乘法的 TensorCore 结合使用时,可将吞吐量提高 12%。结合其他增强功能和更低的总体拥有成本,与 Blackwell Ultra 相比,TPU 技术提供了高达 50% 的每美元性能提升,这在 InferenceX 等基准测试中尤为明显。

  13. RESEARCH · CL_241694 ·

    Google TPUv7 Ironwood 在推理任务上优于NVIDIA Blackwell Ultra

    SemiAnalysis 报告称,Google 的 TPUv7 Ironwood 硬件在推理任务上,与 NVIDIA 的 Blackwell Ultra 相比,每美元的性能提高了 50%。这一优势是通过新的 TorchTPU 外部推理堆栈实现的,该堆栈在 TPU 上支持原生 PyTorch。Google 的 Pallas 推理内核的开源进一步巩固了这一基础,表明 TPU 外部化具有积极的发展趋势。

  14. TOOL · CL_240661 ·

    InferenceX将TPU堆栈外部化,挑战CUDA主导地位

    SemiAnalysis报道称,InferenceX在TPU推理外部化方面取得了重大进展,每美元性能可能提高多达50%。该公司正在积极开发其TPU堆栈,在Ironwood和TPUv8i方面取得了显著进步。此举旨在减少对CUDA的依赖,而CUDA是英伟达的关键竞争优势。

  15. SIGNIFICANT · CL_220020 ·

    OpenAI 发布用于推理工作负载的定制 Jalapeño ASIC

    OpenAI 与 Broadcom 合作开发了名为 Jalapeño 的自研推理 ASIC。这款定制芯片旨在为 OpenAI 的推理工作负载提供最佳计算平台,专注于每瓦性能和低延迟。Jalapeño ASIC 旨在超越当前行业领导者如 NVIDIA 的 GB200 和 GB300,尤其是在多芯片操作的能效和降低延迟方面。

  16. SIGNIFICANT · CL_218582 ·

    OpenAI 自研“jalapeño”芯片基准测试显示其性能超越 NVIDIA 硬件

    OpenAI 发布了其代号为“jalapeño”的定制推理芯片的基准测试结果,该芯片是与博通(Broadcom)合作开发的。据报道,该芯片在每千瓦吞吐量和端到端延迟方面优于 NVIDIA 的 GB300 和 GB200 系统,尤其是在运行 GPT-OSS 120B 等 OpenAI 自有模型时。这种集成的系统方法,结合了硬件、内存、网络和推理软件,旨在减少数据移动和延迟,这对于代理式 AI 应用至关重要。虽然该芯片不用于训练,且 NV…

  17. SIGNIFICANT · CL_218758 ·

    OpenAI 发布定制 Jalapeño 推理芯片的性能数据

    OpenAI 发布了其代号为 Jalapeño 的定制推理芯片的性能数据。据报道,在使用 GPT-OSS 120B 模型进行 InferenceX 基准测试时,该芯片的峰值吞吐量每千瓦和令牌延迟均优于现有的商业系统。这标志着 OpenAI 在开发自己的专用 AI 推理硬件方面迈出了重要一步。

  18. FRONTIER RELEASE · CL_218490 ·

    OpenAI 的 Jalapeño 芯片在推理性能上优于 Nvidia

    OpenAI 公布了其定制设计的“Jalapeño”推理芯片的初步性能数据,展示了在速度和能效方面的显著提升。基准测试表明,Jalapeño 在吞吐量和延迟等关键指标上优于 Nvidia 的 Blackwell 和 GB200/GB300 等竞争对手。该芯片在 Broadcom 的合作下,并借助 AI 辅助开发,旨在优化 AI 推理工作负载,并计划部署在 OpenAI 的基础设施中。

  19. COMMENTARY · CL_184045 ·

    SemiAnalysis 修订摩根士丹利的 GenAI ROIC 计算

    SemiAnalysis 正在批评一份关于生成式人工智能投资回报率 (ROIC) 的摩根士丹利报告,并建议调整资本支出计算。虽然摩根士丹利的报告总体上看好 GenAI ROIC,但 SemiAnalysis 认为该报告对 IT 资本支出和数据中心资本支出的假设不准确。SemiAnalysis 提出了这些支出的替代数字,这将略微降低预测的 ROIC,但仍表明回报强劲。

  20. COMMENTARY · CL_131921 ·

    SemiAnalysis 讨论 DeepSeek V4、华为 Ascend NPU 和 LLM 框架竞争

    SemiAnalysis 发布了一期节目,讨论了 DeepSeek V4 模型和华为 Ascend NPU 的性能。该节目题为“第 17 集 - DeepSeek V4 和华为 Ascend NPU 性能 (InferenceX)”,由 @noslawextratost 发表见解。此外,讨论还涉及 vLLM 和 SGLang 之间的竞争格局,强调了竞争如何促进该领域的有益进步。