AI accelerators
PulseAugur coverage of AI accelerators — every cluster mentioning AI accelerators across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
三星发布 zHBM 原型，将内存堆叠在 AI 加速器上
三星公司发布了其 zHBM（zigzag High Bandwidth Memory）技术的原型，该技术将内存芯片直接集成到 AI 加速器上。这种新颖的方法旨在通过缩短内存和处理单元之间的物理距离来降低延迟并提高能效。zHBM 原型垂直堆叠内存，与传统的内存配置相比，可以实现更紧凑、更高效的设计。
-
台积电的 AI 芯片封装瓶颈为英特尔创造了机会
台积电的 CoWoS 封装技术对于将 AI 加速器与高带宽内存 (HBM) 集成至关重要，但由于硅中介层的巨大尺寸，正面临显著的成本和良率挑战。这些限制为英特尔的 EMIB 技术创造了机会，该技术通过不同的方法规避了对大型中介层的需求。
-
人工智能推动内存芯片价格飙升至历史新高，主要制造商受益
内存芯片价格，特别是高带宽内存（HBM）和NAND闪存的价格，正在经历显著上涨，Gartner预测该市场将达到1.6万亿美元。这一繁荣主要由人工智能加速器巨大的需求驱动，它们需要大量的先进内存。三星、SK Hynix和美光等主要芯片制造商有望从这一趋势中获得巨大利益，且市场短期内没有下滑迹象。
-
三星发布 AI 专用内存技术，影响消费者价格
三星发布了新的内存和存储技术，包括 zHBM，该技术将 HBM 内存直接堆叠在 AI 加速器之上，以将性能提高八倍。该公司还推出了 V10 BV-NAND，具有超过 400 层堆叠内存层，以及面向边缘 AI 环境的 zNAND-O。此外，三星展示了 LPDDR5X-PIM，这是首款具有集成处理能力的 LPDDR 内存。然而，这些进步主要面向 AI 数据中心，可能会加剧目前 DDR5 等消费级内存的短缺和高价。
-
谷歌瞄准2028年AI加速器主导地位，或将利用英特尔代工
富邦研究公司的一份分析师报告表明，谷歌计划到2028年生产1200万至1500万个TPU v9 AI加速器，可能超过英伟达当年的预期出货量。为实现这一宏伟目标，谷歌可能需要除台积电外，还利用英特尔代工的制造能力。此举将使谷歌成为最大的AI加速器消费者，并凸显云服务提供商开发定制硬件的趋势。
-
FastTPS方法加速AI加速器上的大语言模型推理
一种名为FastTPS的新方法已被开发出来，用于加速AI加速器上大语言模型（LLM）推理的Token阶段。该方法解决了固有的低并行度和内存开销问题，尤其是在长序列处理方面。FastTPS结合了KV缓存连接、优化的RoPE注意力以及融合MLP调度，以提高吞吐量并减少内存访问。
-
Nvidia以收入分成的方式提供AI加速器
Nvidia正在为其AI加速器提供一种新的商业模式，允许客户用其收入的一部分来支付，而不是预先购买。这种方法旨在使更广泛的公司，特别是初创企业和收入不确定的公司，更容易获得先进的AI硬件。此举可能会显著改变整个行业AI基础设施的融资和部署方式。
-
Quantum Neural Networks Compared for Semiconductor Defect Classification
一篇新的研究论文探讨了量子神经网络（QNN）在半导体晶圆图缺陷分类中的应用，这是提高制造良率的关键步骤。该研究使用WM-811K数据集直接比较了连续变量（CV）和离散变量（DV）的QNN范式。结果表明，CV-QNNs的性能持续优于DV-QNNs，在需要捕捉精细空间差异的特定缺陷类型上实现了显著更高的准确性和更好的性能。
-
高通将 AI 计算集成到加速器中，研究人员减轻 AI 数学负担
高通公司正通过将计算能力直接集成到其 AI 加速器中，提出一种新的 AI 基础设施方法。该设计旨在通过将计算置于更靠近数据的位置来克服内存墙。研究人员还在开发新的 AI 数学方法，以减少 AI 任务的硬件需求，可能通过将语义含义与嵌入分离来实现。
-
Apache TVM 推出 TIRx 编译器，用于演进的 ML 内核和硬件
Apache TVM 推出了 TIRx，这是一个开源编译器堆栈，专为机器学习内核和不断发展的硬件而设计。这个新系统支持硬件原生 DSL，并可编译到 GPU 和专用 AI 加速器，同时注重适应未来硬件代际的灵活性。TIRx 旨在为程序员和机器之间提供一个灵活的边界，使专家能够控制底层操作，同时也支持常用任务的可重用块基元。
-
Frore 的 LiquidJet Nexus 提升 AI 加速器散热，声称性能提升 10%
Frore Systems 推出了其 LiquidJet Nexus 冷板，旨在为 Nvidia 的 Vera Rubin 和 Grace Blackwell 等 AI 加速器提供散热。这款新的整体式水冷块利用半导体制造技术精确瞄准热点，与现有的液冷解决方案相比，声称可降低 6ºC 温度并提高 10% 的 token 生成性能。该公司正与超大规模数据中心合作，将这种更高效、更可靠的冷却技术集成到定制硬件中，以期降低大规模 AI 部署的运营成本。
-
Astera Labs 发货 320 通道 PCIe 6.0 交换机，用于 80 个加速器的 AI 集群
Astera Labs 推出了其 Scorpio X-Series 320 通道智能 fabric 交换机，这是数据中心互连领域的一项重大进展。这款 PCIe 6.0 交换机拥有 320 个通道和 20 Tbps 的带宽，能够在单个、厂商无关的集群中连接多达 80 个加速器。主要功能包括用于 AI 模型的硬件数据复制和集体操作卸载，旨在降低延迟并提高加速器效率。
-
KForge使用LLM代理自动生成AI加速器内核
研究人员开发了KForge，一个利用LLM驱动的代理自动生成AI加速器优化内核的框架。该系统通过采用迭代细化循环来应对为不同硬件创建高效代码的挑战。一个代理根据编译反馈生成和细化内核，而另一个代理分析性能数据以指导优化。KForge已在NVIDIA和Intel硬件上展示了优于现有解决方案的性能。
-
KernelCraft基准测试评估AI智能体为定制硬件生成内核的能力
研究人员推出了KernelCraft，这是一个新的基准测试，旨在评估AI智能体为专用硬件加速器生成低级代码的能力。该基准测试解决了为新型AI芯片开发定制内核的挑战，而这通常会减缓其上市速度。KernelCraft采用一种由反馈驱动的工作流程，AI智能体为新兴加速器生成和优化代码，证明了强大的智能体即使在面对未知的指令集架构时，也能生成功能正确且经过优化的内核，甚至可以媲美或超越编译器基线。
-
Gartner：大多数生成式AI项目将失败
Gartner预测，大多数生成式AI和定制模型项目将失败，并建议该领域的成功可能取决于采纳中国的策略。报告强调了AI作为商业洞察力重要驱动力的潜力，但警告了项目普遍失败的可能性。报告还涉及了硬件供应链和AI加速器使用量的增加。
-
Snowflake 承诺投入 60 亿美元用于 AWS Graviton CPU 和 AI 加速器
Snowflake 计划在未来几年内投资 60 亿美元用于 AWS 基础设施，重点关注 Graviton CPU 和 AI 加速器。这项巨额支出凸显了公司致力于利用云计算便利和 AI 驱动的洞察力来证明成本的合理性。此举标志着其数据仓库服务在优化性能和功能方面正朝着战略性转变。
-
新技术应对AI乘法器的硬件老化问题
研究人员开发了一种新技术来应对算术乘法器的硬件老化问题，算术乘法器是AI加速器中的关键组件。该方法利用乘法的符号不变性，对输入应用2的补码变换，以重新分配晶体管应力并缓解负偏压温度不稳定性（NBTI）老化。该方法被集成到脉动阵列中，在面积和延迟开销极小的情况下，展示了更长的使用寿命。