PulseAugur
中
实时 12:18:31
实体 AI inference

AI inference

PulseAugur coverage of AI inference — every cluster mentioning AI inference across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 30
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 6
层级分布 · 90 天
主题
关系
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/2 页 · 共 33 条
  1. SIGNIFICANT · CL_362939 ·

    AI 能源需求推动光学计算热潮 · 跟踪到 2 个来源

    光学计算正在经历复苏,其驱动力是人工智能推理巨大的能源需求。这项技术使用光而非电力进行计算,与传统 GPU 相比,有望显著降低能耗。全球初创公司正在涌现,吸引了大量投资,并探索各种应用,从增强数据中心网络到开发新颖的人工智能算法。

  2. COMMENTARY · CL_353401 ·

    用户预测AI推理将变得本地化和开放权重

    一位Mastodon用户预测,AI推理将变得高度本地化并利用开放权重模型,这与OpenAI和Anthropic等公司推广的中心化、订阅式方法形成对比。该用户认为,虽然前沿模型对于训练是必要的,但其广泛用于推理的说法被夸大了,而且昂贵的LLM订阅并非必需。这一观点挑战了当前行业对大型、云端推理服务的趋势。

  3. SIGNIFICANT · CL_334884 ·

    AI与内存技术在深圳全球论坛上融合 · 追踪10个来源

    2026年全球内存创新论坛(GMIF 2026)汇聚了中国深圳的40家公司,展示了人工智能和内存技术的进步。参展商展示了旨在增强AI推理、扩展GPU内存容量以及为云、边缘和汽车应用优化数据移动的解决方案。该论坛强调了在日益严苛的AI工作负载背景下,内存和存储不断变化的商业价值。

  4. TOOL · CL_334653 ·

    Mac 计算租赁公司警告 AI 代币成本下降

    一家允许 Mac 用户将其闲置计算机出租用于 AI 推理工作负载的公司警告称,由于代币成本暴跌,收入正在下降。该公司 Darkbloom Network 的收入已大幅下降,因为包括 Anthropic 模型在内的代币价格已大幅下跌。这一趋势表明分布式 AI 计算市场可能供过于求或需求减少。

  5. TOOL · CL_303902 ·

    NVIDIA MIG 支持将 GPU 分区用于多个 AI 和容器工作负载

    NVIDIA 的多实例 GPU (MIG) 技术允许用户将支持的数据中心 GPU 分割成更小的、隔离的实例。这使得在单个物理 GPU 上可以同时执行多个工作负载,例如 AI 推理任务、Docker 容器和其他应用程序。本教程演示了如何在专用服务器环境中配置 MIG,以优化 GPU 利用率。

  6. COMMENTARY · CL_302124 ·

    人工智能数据中心因资源需求和冷却创新而面临审查

    对人工智能基础设施日益增长的需求,特别是对数据中心的需求,正成为一个重要的政治问题。随着行业将重点从训练大型人工智能模型转向人工智能推理,将需要更多小型、分布式的设施。这一转变带来了新的担忧,Kelvion的Henry Cubillan等专家正在讨论创新的数据中心冷却方法,旨在减少用水量并解决围绕人工智能数据中心的公众争议。

  7. TOOL · CL_243530 ·

    AWS 与高通合作开发定制 AI 推理芯片并降低成本

    Amazon Web Services (AWS) 与高通公司已达成一项多年合作伙伴关系,旨在降低 AI 模型推理的相关成本。此次合作涉及开发专用于 AI 推理任务的定制硅芯片。此外,高通将利用 AWS 的 Amazon Bedrock 平台进行其芯片设计流程。

  8. TOOL · CL_233370 ·

    新的MeanField模型改进了GPU上的AI推理调度

    研究人员开发了一种MeanField代理模型,以解决在共享GPU上调度并发AI推理工作负载的挑战。这种新方法基于局部配置和聚合GPU状态来预测模型性能,避免了传统代理模型的组合复杂性。实验证明了其高预测准确性和可扩展性,MeanField代理使遗传算法调度器能够有效地处理大量配置并避免服务级别协议违规。

  9. SIGNIFICANT · CL_225572 ·

    Agentrys 完成 2450 万美元融资,用于 AI 芯片设计;Agentic AI 有望提振代币需求

    Agentrys 已为其 Agentic AI 芯片设计平台筹集到 2450 万美元资金,该平台据称在 NVIDIA 基准测试中取得了超过 90% 的成绩。这一发展恰逢关于 Agentic AI 如何显著增加 AI 推理代币需求的讨论,并将其与铝的历史轨迹进行了类比。

  10. TOOL · CL_222393 ·

    Oxmiq Labs 提出用于 AI 推理容量的高带宽闪存

    Oxmiq Labs 正在提出高带宽闪存 (HBF) 作为 AI 推理的新容量层,旨在以与高带宽内存 (HBM) 相当的成本提供显著更多的存储空间。他们在 Hot Chips 2026 上的演示概述了 HBF 硬件规格,该规格在相同价格下可提供 HBM 8 到 16 倍的容量。虽然 HBM 在带宽密集型任务中表现出色,但 Oxmiq 建议 HBF 可有效地部署在混合专家 (MoE) 模型中,特别是用于存储专家权重和卸载 KV 缓存,从…

  11. RESEARCH · CL_218702 ·

    AI框架推动硅光子设计和能量收集AI概念的发展

    研究人员开发了PICasso,一个支持AI的框架,它使用自然语言来设计、验证和优化硅光子集成电路。该框架将大型语言模型与领域特定知识和物理验证相结合,以提高设计满意度并减少插入损耗。另外,一个名为SOLACE的概念架构提出将集成光伏与光学神经网络和低功耗CMOS相结合,以创建能够收集环境光的节能AI推理系统。

  12. RESEARCH · CL_218709 ·

    三星将逻辑单元集成到LPDDR5X内存中,以加快AI推理速度

    三星公司开发了LPDDR5X-PIM,一种将逻辑单元直接集成到内存芯片中的新型内存技术。这种内存处理(PIM)方法旨在降低AI推理任务的成本和功耗,这些任务通常受限于传统内存架构的瓶颈。该公司展示了LPDDR5X-PIM与标准LPDDR5X相比,可以实现显著更高的速度和带宽,从而满足了对AI硬件日益增长的需求和成本担忧。

  13. SIGNIFICANT · CL_218715 ·

    Intel 发布用于推理的实用型 AI 加速器 Crescent Island

    在 Hot Chips 研讨会上,Intel 披露了其基于 Xe3P 架构的 Crescent Island AI 加速器的更多细节。该加速器专为推理任务设计,采用 350W 风冷 PCIe 卡,配备 480 GB LPDDR5X 内存。与竞争对手的高功耗液冷 GPU 不同,Crescent Island 优先考虑更实用、低功耗的 AI 推理部署。

  14. TOOL · CL_212254 ·

    SK Hynix 和 SanDisk 在 2026 FMS 大会上推进 AI 高带宽闪存

    在 2026 FMS 大会上,SK Hynix 和 SanDisk 展示了高带宽闪存(HBF)技术的进展,该技术旨在增强 AI 推理能力。SK Hynix 推出了新的内存层级,包括具有 TB 级带宽的 G1.5 HBF,旨在优化 AI 性能和成本。SanDisk 详细介绍了其最新的 NAND 闪存芯片以及与 SK Hynix 在 HBF 上的合作,HBF 类似于 HBM 堆叠 NAND 芯片,为 AI 加速器提供高容量、高性能的存储解决方案。

  15. TOOL · CL_201641 ·

    Azure Storage 增强 AI 推理能力,支持提示缓存和 KV 卸载

    Microsoft Azure Storage 正在增强其加速 AI 推理的能力。该平台正在实施提示缓存等技术以提高 token 效率,并将 KV 缓存卸载到 Blob 存储。这些优化旨在显著缩短模型加载时间,并提高 AI 模型在推理过程中的整体性能。

  16. TOOL · CL_200865 ·

    Kog 的新引擎提升现有 GPU 的 AI 推理速度 · 已追踪 4 个来源

    法国初创公司 Kog 开发了一款新的推理引擎,旨在显著加速现有数据中心 GPU(如 AMD MI300X 和 NVIDIA H200)上的 AI 模型性能。该公司的软件驱动方法旨在通过优化推理速度来绕过昂贵新硬件的需求,而推理速度已成为许多 AI 应用的关键瓶颈。Kog 的技术已引起了极大的商业兴趣,特别是来自软件工程等领域对当前 AI 延迟感到沮丧的专业用户。

  17. TOOL · CL_188010 ·

    AI语音代理使用函数调用避免幻觉

    已开发出一种基于Python的AI语音代理,通过集成函数调用功能来克服AI代理产生幻觉答案的问题。该代理使用Telnyx进行语音识别和文本转语音,使其能够与真实API交互,获取天气、订单状态和账户余额等信息。该系统被设计为一个单独的Flask文件,简化了其架构,并使其能够在对话中提供准确的、有数据支持的响应。

  18. SIGNIFICANT · CL_181910 ·

    SanDisk、SK Hynix 推出面向 AI 内存的高带宽闪存规范

    SanDisk 和 SK Hynix 联合推出了高带宽闪存 (HBF) 规范,这是一项旨在提高 AI 推理系统内存容量和带宽的新开放标准。该技术旨在弥合高带宽内存 (HBM) 的高性能与 NAND 闪存的大容量之间的差距。HBF 规范的目标是每个封装实现高达 3 TB/s 的带宽和 512GB 的容量,在容量上可能超越 HBM4 的能力,并为 AI 工作负载提供新的内存层级。

  19. TOOL · CL_153993 ·

    AI应用边缘计算最佳实践详解

    边缘计算最适合用于AI应用的特定功能,例如身份验证检查、A/B测试、地理位置路由和速率限制。然而,它不适用于计算密集型任务,如重度AI推理、需要持久连接的数据库查询或大规模文件处理。边缘计算的战略性应用可以通过高效处理这些有针对性的轻量级操作来提高性能。

  20. COMMENTARY · CL_112364 ·

    AI推理盈利能力引发泡沫担忧的争论 · 跟踪2个来源

    AI推理的盈利能力是一个讨论话题,一些人认为这显然是一项有利可图的业务。这种观点认为,底层技术及其应用正在产生可观的回报。对话涉及AI泡沫的可能性,暗示当前的估值或市场状况可能不可持续。