实体
HBM3
HBM3
PulseAugur coverage of HBM3 — every cluster mentioning HBM3 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Furiosa AI 的 Renegade 芯片或将助力本地大语言模型
韩国初创公司 Furiosa AI 开发了一款新的推理芯片 Renegade，该芯片基于 5nm 工艺节点，拥有 48GB HBM3 VRAM 和 1.5TB/s 的内存带宽。虽然最初并非面向消费市场，但该芯片已与 LG 的大语言模型进行了测试。该公司开放其编程接口的潜力可能对本地大语言模型格局产生重大影响，特别是如果其定价在 2.5k 美元左右具有竞争力的话。
-
空闲GPU功耗由CUDA上下文驱动，而非VRAM
研究人员量化了将AI模型加载到GPU上的能源成本，这种做法被称为“模型停放”。他们的研究发现，主要的能源消耗来自CUDA上下文，无论GPU架构或内存类型如何，都会增加26-66W的空闲功耗。分配给模型的VRAM量对这种空闲功耗几乎没有影响。研究结果表明，节能部署策略应侧重于最小化冷启动延迟，而不是仅仅让模型一直处于加载状态。