AI accelerators
PulseAugur coverage of AI accelerators — every cluster mentioning AI accelerators across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AMD 寻求深化与三星的合作，以确保 AI 内存供应和芯片订单
AMD 正在寻求深化与三星的合作伙伴关系，旨在确保为其 AI 加速器提供更稳健的高带宽内存 (HBM) 供应。据报道，三星反过来也有兴趣利用这种关系来获得更多逻辑芯片生产的代工订单。此举正值 AMD 首席执行官 Lisa Su 访问韩国，讨论长期供应链战略，特别是下一代内存产品（如 HBM4 和先进 DDR5）的供应，这些产品对公司的 AI 和数据中心业务至关重要。
-
Altman支持的Volantis将光子技术集成到AI加速器中，以绕过内存墙
Sam Altman支持的初创公司Volantis公布了一种新颖的AI加速方法，将光子技术直接集成到其硬件中。该方法旨在通过使用光而不是电线在内存和计算单元之间传输数据来克服内存墙，这是当前AI系统的一个重大瓶颈。该公司的创新设计有望显著提高AI处理速度和效率。
-
AI 硬件供应链：聚焦第三衍生物赋能者
SemiAnalysis 强调了半导体供应链中那些关键但常被忽视的“第三衍生物”公司，它们赋能了先进的 AI 硬件。这包括材料供应商，如在基板必需的 ABF 薄膜市场占据主导地位的 Ajinomoto，以及化学品公司，如在 ABF 基板的粘合促进化学品方面拥有近乎垄断地位的 MEC。分析还指出，设备制造商如 Eternal Precision Mechanics 和 Taesung，其设备对于基板生产中的多层压合和湿法工艺步骤至关重要…
-
三星发布 zHBM 内存，直接堆叠在 AI 加速器上
三星公司发布了其 zHBM 内存技术的原型机，该技术旨在直接堆叠在 AI 加速器上。这种创新的方法旨在显著提高 AI 工作负载的数据传输速度和效率。zHBM 技术代表了高性能计算内存架构的关键进展。
-
新研究致力于 LLM KV 缓存优化以实现高效推理 · 已追踪 10 个来源
多篇研究论文探讨了优化大型语言模型 (LLM) 的键值 (KV) 缓存的新技术，以提高推理效率并降低内存开销。这些方法包括面向 AI 加速器的动态缓存编排、NVMe SSD 外部 KV 缓存的性能表征，以及使用互补多样性指标的几何感知驱逐策略。其他方法侧重于针对 KV 缓存连接对模型进行微调，适应提示特定约束的自适应压缩框架，以及在不同上下文和模型检查点之间重用 KV 缓存的方法。一些研究还探讨了用于量化 KV 缓存的注意力加权值投影…
-
台积电的 AI 芯片封装瓶颈为英特尔创造了机会
台积电的 CoWoS 封装技术对于将 AI 加速器与高带宽内存 (HBM) 集成至关重要，但由于硅中介层的巨大尺寸，正面临显著的成本和良率挑战。这些限制为英特尔的 EMIB 技术创造了机会，该技术通过不同的方法规避了对大型中介层的需求。
-
人工智能推动内存芯片价格飙升至历史新高，主要制造商受益
内存芯片价格，特别是高带宽内存（HBM）和NAND闪存的价格，正在经历显著上涨，Gartner预测该市场将达到1.6万亿美元。这一繁荣主要由人工智能加速器巨大的需求驱动，它们需要大量的先进内存。三星、SK Hynix和美光等主要芯片制造商有望从这一趋势中获得巨大利益，且市场短期内没有下滑迹象。
-
三星发布 AI 专用内存技术，影响消费者价格
三星发布了新的内存和存储技术，包括 zHBM，该技术将 HBM 内存直接堆叠在 AI 加速器之上，以将性能提高八倍。该公司还推出了 V10 BV-NAND，具有超过 400 层堆叠内存层，以及面向边缘 AI 环境的 zNAND-O。此外，三星展示了 LPDDR5X-PIM，这是首款具有集成处理能力的 LPDDR 内存。然而，这些进步主要面向 AI 数据中心，可能会加剧目前 DDR5 等消费级内存的短缺和高价。
-
谷歌瞄准2028年AI加速器主导地位，或将利用英特尔代工
富邦研究公司的一份分析师报告表明，谷歌计划到2028年生产1200万至1500万个TPU v9 AI加速器，可能超过英伟达当年的预期出货量。为实现这一宏伟目标，谷歌可能需要除台积电外，还利用英特尔代工的制造能力。此举将使谷歌成为最大的AI加速器消费者，并凸显云服务提供商开发定制硬件的趋势。
-
FastTPS方法加速AI加速器上的大语言模型推理
一种名为FastTPS的新方法已被开发出来，用于加速AI加速器上大语言模型（LLM）推理的Token阶段。该方法解决了固有的低并行度和内存开销问题，尤其是在长序列处理方面。FastTPS结合了KV缓存连接、优化的RoPE注意力以及融合MLP调度，以提高吞吐量并减少内存访问。
-
Nvidia以收入分成的方式提供AI加速器
Nvidia正在为其AI加速器提供一种新的商业模式，允许客户用其收入的一部分来支付，而不是预先购买。这种方法旨在使更广泛的公司，特别是初创企业和收入不确定的公司，更容易获得先进的AI硬件。此举可能会显著改变整个行业AI基础设施的融资和部署方式。
-
Quantum Neural Networks Compared for Semiconductor Defect Classification
一篇新的研究论文探讨了量子神经网络（QNN）在半导体晶圆图缺陷分类中的应用，这是提高制造良率的关键步骤。该研究使用WM-811K数据集直接比较了连续变量（CV）和离散变量（DV）的QNN范式。结果表明，CV-QNNs的性能持续优于DV-QNNs，在需要捕捉精细空间差异的特定缺陷类型上实现了显著更高的准确性和更好的性能。
-
高通将 AI 计算集成到加速器中，研究人员减轻 AI 数学负担
高通公司正通过将计算能力直接集成到其 AI 加速器中，提出一种新的 AI 基础设施方法。该设计旨在通过将计算置于更靠近数据的位置来克服内存墙。研究人员还在开发新的 AI 数学方法，以减少 AI 任务的硬件需求，可能通过将语义含义与嵌入分离来实现。
-
Apache TVM 推出 TIRx 编译器，用于演进的 ML 内核和硬件
Apache TVM 推出了 TIRx，这是一个开源编译器堆栈，专为机器学习内核和不断发展的硬件而设计。这个新系统支持硬件原生 DSL，并可编译到 GPU 和专用 AI 加速器，同时注重适应未来硬件代际的灵活性。TIRx 旨在为程序员和机器之间提供一个灵活的边界，使专家能够控制底层操作，同时也支持常用任务的可重用块基元。
-
Frore 的 LiquidJet Nexus 提升 AI 加速器散热，声称性能提升 10%
Frore Systems 推出了其 LiquidJet Nexus 冷板，旨在为 Nvidia 的 Vera Rubin 和 Grace Blackwell 等 AI 加速器提供散热。这款新的整体式水冷块利用半导体制造技术精确瞄准热点，与现有的液冷解决方案相比，声称可降低 6ºC 温度并提高 10% 的 token 生成性能。该公司正与超大规模数据中心合作，将这种更高效、更可靠的冷却技术集成到定制硬件中，以期降低大规模 AI 部署的运营成本。
-
Astera Labs 发货 320 通道 PCIe 6.0 交换机，用于 80 个加速器的 AI 集群
Astera Labs 推出了其 Scorpio X-Series 320 通道智能 fabric 交换机，这是数据中心互连领域的一项重大进展。这款 PCIe 6.0 交换机拥有 320 个通道和 20 Tbps 的带宽，能够在单个、厂商无关的集群中连接多达 80 个加速器。主要功能包括用于 AI 模型的硬件数据复制和集体操作卸载，旨在降低延迟并提高加速器效率。
-
KForge使用LLM代理自动生成AI加速器内核
研究人员开发了KForge，一个利用LLM驱动的代理自动生成AI加速器优化内核的框架。该系统通过采用迭代细化循环来应对为不同硬件创建高效代码的挑战。一个代理根据编译反馈生成和细化内核，而另一个代理分析性能数据以指导优化。KForge已在NVIDIA和Intel硬件上展示了优于现有解决方案的性能。
-
KernelCraft基准测试评估AI智能体为定制硬件生成内核的能力
研究人员推出了KernelCraft，这是一个新的基准测试，旨在评估AI智能体为专用硬件加速器生成低级代码的能力。该基准测试解决了为新型AI芯片开发定制内核的挑战，而这通常会减缓其上市速度。KernelCraft采用一种由反馈驱动的工作流程，AI智能体为新兴加速器生成和优化代码，证明了强大的智能体即使在面对未知的指令集架构时，也能生成功能正确且经过优化的内核，甚至可以媲美或超越编译器基线。
-
Gartner：大多数生成式AI项目将失败
Gartner预测，大多数生成式AI和定制模型项目将失败，并建议该领域的成功可能取决于采纳中国的策略。报告强调了AI作为商业洞察力重要驱动力的潜力，但警告了项目普遍失败的可能性。报告还涉及了硬件供应链和AI加速器使用量的增加。
-
Snowflake 承诺投入 60 亿美元用于 AWS Graviton CPU 和 AI 加速器
Snowflake 计划在未来几年内投资 60 亿美元用于 AWS 基础设施，重点关注 Graviton CPU 和 AI 加速器。这项巨额支出凸显了公司致力于利用云计算便利和 AI 驱动的洞察力来证明成本的合理性。此举标志着其数据仓库服务在优化性能和功能方面正朝着战略性转变。