AI inference
PulseAugur coverage of AI inference — every cluster mentioning AI inference across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
SK Hynix 和 SanDisk 在 2026 FMS 大会上推进 AI 高带宽闪存
在 2026 FMS 大会上，SK Hynix 和 SanDisk 展示了高带宽闪存（HBF）技术的进展，该技术旨在增强 AI 推理能力。SK Hynix 推出了新的内存层级，包括具有 TB 级带宽的 G1.5 HBF，旨在优化 AI 性能和成本。SanDisk 详细介绍了其最新的 NAND 闪存芯片以及与 SK Hynix 在 HBF 上的合作，HBF 类似于 HBM 堆叠 NAND 芯片，为 AI 加速器提供高容量、高性能的存储解决方案。
-
Azure Storage 增强 AI 推理能力，支持提示缓存和 KV 卸载
Microsoft Azure Storage 正在增强其加速 AI 推理的能力。该平台正在实施提示缓存等技术以提高 token 效率，并将 KV 缓存卸载到 Blob 存储。这些优化旨在显著缩短模型加载时间，并提高 AI 模型在推理过程中的整体性能。
-
Kog 的新引擎提升现有 GPU 的 AI 推理速度 · 已追踪 4 个来源
法国初创公司 Kog 开发了一款新的推理引擎，旨在显著加速现有数据中心 GPU（如 AMD MI300X 和 NVIDIA H200）上的 AI 模型性能。该公司的软件驱动方法旨在通过优化推理速度来绕过昂贵新硬件的需求，而推理速度已成为许多 AI 应用的关键瓶颈。Kog 的技术已引起了极大的商业兴趣，特别是来自软件工程等领域对当前 AI 延迟感到沮丧的专业用户。
-
AI语音代理使用函数调用避免幻觉
已开发出一种基于Python的AI语音代理，通过集成函数调用功能来克服AI代理产生幻觉答案的问题。该代理使用Telnyx进行语音识别和文本转语音，使其能够与真实API交互，获取天气、订单状态和账户余额等信息。该系统被设计为一个单独的Flask文件，简化了其架构，并使其能够在对话中提供准确的、有数据支持的响应。
-
SanDisk、SK Hynix 推出面向 AI 内存的高带宽闪存规范
SanDisk 和 SK Hynix 联合推出了高带宽闪存 (HBF) 规范，这是一项旨在提高 AI 推理系统内存容量和带宽的新开放标准。该技术旨在弥合高带宽内存 (HBM) 的高性能与 NAND 闪存的大容量之间的差距。HBF 规范的目标是每个封装实现高达 3 TB/s 的带宽和 512GB 的容量，在容量上可能超越 HBM4 的能力，并为 AI 工作负载提供新的内存层级。
-
AI应用边缘计算最佳实践详解
边缘计算最适合用于AI应用的特定功能，例如身份验证检查、A/B测试、地理位置路由和速率限制。然而，它不适用于计算密集型任务，如重度AI推理、需要持久连接的数据库查询或大规模文件处理。边缘计算的战略性应用可以通过高效处理这些有针对性的轻量级操作来提高性能。
-
AI推理盈利能力引发泡沫担忧的争论 · 跟踪2个来源
AI推理的盈利能力是一个讨论话题，一些人认为这显然是一项有利可图的业务。这种观点认为，底层技术及其应用正在产生可观的回报。对话涉及AI泡沫的可能性，暗示当前的估值或市场状况可能不可持续。
-
AI 代理和推理驱动科技新前沿：3D 世界获 20 亿美元，Baseten 获 130 亿美元
General Intuition 正在向专为 3D 环境设计的 AI 代理投资 20 亿美元，旨在彻底改变模拟、游戏和数字工作。与此同时，Baseten 的估值目标为 130 亿美元，凸显了 AI 推理在科技行业中的快速增长和日益增长的重要性。这些发展突显了技术竞争正显著转向由 AI 驱动的应用和基础设施。
-
AI 推理需要超越计算的可扩展内存
人工智能行业正将其基础设施重点从模型训练转向推理，这给内存管理带来了新的挑战。与计算和带宽密集型的训练不同，推理需要高效地存储和提供持久的、驻留在内存中的数据。这需要将内存和计算解耦，以避免过度配置昂贵的处理器，并根据用户活动和上下文窗口的扩展独立扩展内存容量。
-
新方法论解决了企业报告中的AI推理排放问题
已提出一种新方法论，用于在企业可持续性报告中准确核算AI推理服务产生的温室气体排放。该四级框架旨在提供比当前实践更精确的估算，当前实践通常会忽略这些排放或使用过于宽泛的经济因素。所提出的方法利用GPU能耗基准和区域电网碳强度进行直接估算，对于缺乏使用数据的服务，则回退到基于支出的经济因素。
-
研究揭穿Pearl区块链“AI挖矿”的宣传
一项新研究揭穿了Pearl区块链“有用功证明”（PoUW）机制的宣传，发现它并未如宣传的那样为AI推理做出贡献。尽管该网络声称拥有强大的计算能力，但研究发现其运行仅包含琐碎的算术计算，未能产生任何有价值的AI输出。研究指出，该系统导致GPU租赁价格虚高，并转移了真正科学研究的资源，暴露了理论PoUW与其现实应用之间的实用性鸿沟。
-
在自管基础设施上部署符合HIPAA的AI推理
本文提供了一份关于部署符合HIPAA法规的AI推理服务的指南，强调使用自控基础设施。文章详细介绍了如何设置安全环境、管理数据隐私以及确保医疗应用AI模型的可靠性。重点在于在整个AI推理过程中维护对敏感患者数据的控制权。
-
分析发现轨道计算仅对主权云可行
Brandon Karpf 分析了轨道计算基础设施的五种潜在商业模式，包括 AI 训练、AI 推理、公共云、内容分发和边缘计算。他的研究表明，只有主权云模式在轨道上具有经济可行性。这表明未来太空计算资源的利用方式将发生重大转变。
-
分布式计算系统的生成马尔可夫模型框架
研究人员介绍了一种使用生成马尔可夫模型对分布式计算系统进行建模的新框架。该方法将系统状态分解为结构化变量，从而实现更高效的模拟、推理和策略学习。一项关于协作式AI推理的案例研究表明，与集中式调度相比，将计算分布在用户设备上可以减少延迟和服务器负载。
-
Modal 在几秒钟内实现了用于 AI 推理的无服务器 GPU
Modal 开发了一个系统，实现了真正的无服务器 GPU 用于 AI 推理，解决了快速扩展资源以满足可变需求这一挑战。他们的方法包括维护空闲 GPU 的云缓冲区、用于延迟容器镜像服务的自定义文件系统以及 CPU 和 GPU 进程的高效检查点/恢复机制。这项历时五年的工程努力，将 AI 推理副本的扩展时间从几十分钟缩短到几秒钟，旨在最大限度地提高 GPU 分配利用率。
-
大型语言模型和新框架助力 GPU 内核优化
研究人员正在探索优化大型语言模型 GPU 内核性能的新方法。一种方法使用语言模型作为代理来预测内核性能，在有限预算内显著增加考虑的候选数量。另一种方法 STOF 通过优化多头注意力和融合下游算子来加速稀疏 Transformer。此外，一个名为 KLineage 的新框架从专家内核中学习优化技能来指导大型语言模型，而 Xe-Forge 使用多阶段管道为 Intel GPU 自动化内核优化。最后，FastKernels 通过创建与生产环…
-
改造后的RTX 2080 Ti GPU以38 tokens/秒运行Qwen 3.6 AI模型
一位爱好者改造了NVIDIA GeForce RTX 2080 Ti显卡，使其能够以每秒38个token的速度运行Qwen 3.6 27B AI模型。该设置利用了旧硬件，证明了经济实惠的配置也能实现先进的AI推理。改造涉及增加显卡的VRAM以处理庞大的模型。
-
初创公司SPAN推出家用小型数据中心以提供AI算力
一家名为SPAN的初创公司正在试点一项计划，在居民家中部署数千个小型数据中心，以增加AI算力。这些分布式节点配备了液冷Nvidia GPU，旨在为AI推理、云游戏和内容流媒体提供算力。SPAN声称，这种方法比传统数据中心更便宜、更环保，并计划到2027年将其规模扩大到80,000个单元。
-
AI推理被分为面向人类和代理工作负载
Ben Thompson 提出了一个理解 AI 推理工作负载的新框架，将其分为“答案推理”和“代理推理”。需要即时人类反馈的答案推理将继续利用高端 GPU。无人等待的代理推理可以迁移到更普通的硬件，这与 20 世纪 70 年代批处理从大型机转向小型系统的转变有相似之处。
-
Aria Networks 首席执行官：AI 推理重塑数据中心网络
AI 网络初创公司 Aria Networks 认为，网络正超越其传统角色，成为 AI 基础设施的关键组成部分。公司首席执行官 Mansour Karam 强调，随着分布式推理和代理式 AI 系统的普及，优化 token 效率和模型 FLOP 利用率 (MFU) 至关重要。Aria 的平台集成了硬件、SONiC 软件和 AI 驱动的工具，可实时动态调整网络，旨在提高 AI 运营的整体效率和成本效益。