AI accelerators
PulseAugur coverage of AI accelerators — every cluster mentioning AI accelerators across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
FastTPS方法加速AI加速器上的大语言模型推理
一种名为FastTPS的新方法已被开发出来，用于加速AI加速器上大语言模型（LLM）推理的Token阶段。该方法解决了固有的低并行度和内存开销问题，尤其是在长序列处理方面。FastTPS结合了KV缓存连接、优化的RoPE注意力以及融合MLP调度，以提高吞吐量并减少内存访问。
-
Nvidia以收入分成的方式提供AI加速器
Nvidia正在为其AI加速器提供一种新的商业模式，允许客户用其收入的一部分来支付，而不是预先购买。这种方法旨在使更广泛的公司，特别是初创企业和收入不确定的公司，更容易获得先进的AI硬件。此举可能会显著改变整个行业AI基础设施的融资和部署方式。
-
Quantum Neural Networks Compared for Semiconductor Defect Classification
一篇新的研究论文探讨了量子神经网络（QNN）在半导体晶圆图缺陷分类中的应用，这是提高制造良率的关键步骤。该研究使用WM-811K数据集直接比较了连续变量（CV）和离散变量（DV）的QNN范式。结果表明，CV-QNNs的性能持续优于DV-QNNs，在需要捕捉精细空间差异的特定缺陷类型上实现了显著更高的准确性和更好的性能。
-
高通将 AI 计算集成到加速器中，研究人员减轻 AI 数学负担
高通公司正通过将计算能力直接集成到其 AI 加速器中，提出一种新的 AI 基础设施方法。该设计旨在通过将计算置于更靠近数据的位置来克服内存墙。研究人员还在开发新的 AI 数学方法，以减少 AI 任务的硬件需求，可能通过将语义含义与嵌入分离来实现。
-
Apache TVM 推出 TIRx 编译器，用于演进的 ML 内核和硬件
Apache TVM 推出了 TIRx，这是一个开源编译器堆栈，专为机器学习内核和不断发展的硬件而设计。这个新系统支持硬件原生 DSL，并可编译到 GPU 和专用 AI 加速器，同时注重适应未来硬件代际的灵活性。TIRx 旨在为程序员和机器之间提供一个灵活的边界，使专家能够控制底层操作，同时也支持常用任务的可重用块基元。
-
Frore 的 LiquidJet Nexus 提升 AI 加速器散热，声称性能提升 10%
Frore Systems 推出了其 LiquidJet Nexus 冷板，旨在为 Nvidia 的 Vera Rubin 和 Grace Blackwell 等 AI 加速器提供散热。这款新的整体式水冷块利用半导体制造技术精确瞄准热点，与现有的液冷解决方案相比，声称可降低 6ºC 温度并提高 10% 的 token 生成性能。该公司正与超大规模数据中心合作，将这种更高效、更可靠的冷却技术集成到定制硬件中，以期降低大规模 AI 部署的运营成本。
-
Astera Labs 发货 320 通道 PCIe 6.0 交换机，用于 80 个加速器的 AI 集群
Astera Labs 推出了其 Scorpio X-Series 320 通道智能 fabric 交换机，这是数据中心互连领域的一项重大进展。这款 PCIe 6.0 交换机拥有 320 个通道和 20 Tbps 的带宽，能够在单个、厂商无关的集群中连接多达 80 个加速器。主要功能包括用于 AI 模型的硬件数据复制和集体操作卸载，旨在降低延迟并提高加速器效率。
-
KForge使用LLM代理自动生成AI加速器内核
研究人员开发了KForge，一个利用LLM驱动的代理自动生成AI加速器优化内核的框架。该系统通过采用迭代细化循环来应对为不同硬件创建高效代码的挑战。一个代理根据编译反馈生成和细化内核，而另一个代理分析性能数据以指导优化。KForge已在NVIDIA和Intel硬件上展示了优于现有解决方案的性能。
-
KernelCraft基准测试评估AI智能体为定制硬件生成内核的能力
研究人员推出了KernelCraft，这是一个新的基准测试，旨在评估AI智能体为专用硬件加速器生成低级代码的能力。该基准测试解决了为新型AI芯片开发定制内核的挑战，而这通常会减缓其上市速度。KernelCraft采用一种由反馈驱动的工作流程，AI智能体为新兴加速器生成和优化代码，证明了强大的智能体即使在面对未知的指令集架构时，也能生成功能正确且经过优化的内核，甚至可以媲美或超越编译器基线。
-
Gartner：大多数生成式AI项目将失败
Gartner预测，大多数生成式AI和定制模型项目将失败，并建议该领域的成功可能取决于采纳中国的策略。报告强调了AI作为商业洞察力重要驱动力的潜力，但警告了项目普遍失败的可能性。报告还涉及了硬件供应链和AI加速器使用量的增加。
-
Snowflake 承诺投入 60 亿美元用于 AWS Graviton CPU 和 AI 加速器
Snowflake 计划在未来几年内投资 60 亿美元用于 AWS 基础设施，重点关注 Graviton CPU 和 AI 加速器。这项巨额支出凸显了公司致力于利用云计算便利和 AI 驱动的洞察力来证明成本的合理性。此举标志着其数据仓库服务在优化性能和功能方面正朝着战略性转变。
-
新技术应对AI乘法器的硬件老化问题
研究人员开发了一种新技术来应对算术乘法器的硬件老化问题，算术乘法器是AI加速器中的关键组件。该方法利用乘法的符号不变性，对输入应用2的补码变换，以重新分配晶体管应力并缓解负偏压温度不稳定性（NBTI）老化。该方法被集成到脉动阵列中，在面积和延迟开销极小的情况下，展示了更长的使用寿命。