PulseAugur
中
实时 05:42:57
实体 A100

A100

PulseAugur coverage of A100 — every cluster mentioning A100 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
63
90 天内 152
发布 · 30天
0
90 天内 0
论文 · 30天
20
90 天内 50
层级分布 · 90 天
主题
关系
时间线
  1. 2026-08-12 product_launch CoreWeave signs a contract for NVIDIA A100 GPUs extending into 2029, highlighting the continued profitability and demand for older AI hardware. 来源
情绪 · 30 天

19 天有情绪数据

最近 · 第 1/8 页 · 共 160 条
  1. TOOL · CL_370623 ·

    用于大型语言模型的经济高效 GPU:显存容量胜过速度

    运行和训练大型语言模型 (LLM) 的最佳 GPU 取决于具体任务和显存需求,而非原始速度。对于高达 70B 参数的 4 位精度模型服务或 QLoRA 微调等单用户任务,24 GB 或 48 GB 的显卡,例如 NVIDIA RTX A6000,通常是最具成本效益的选择。NVIDIA H100 或 B200 等高端 GPU 更适合全参数微调或分片训练等要求更高的任务,其更高的成本可以通过更快的完成时间来证明其合理性。

  2. SIGNIFICANT · CL_369729 ·

    SenseNova-Loop-9B:9B 模型在消费级 GPU 上实现 27B 性能

    PixelBrain Studio Engineering Labs 发布了 SenseNova-Loop-9B,这是一款采用新颖循环推理架构的多模态视觉模型。该设计使这个拥有 90 亿参数的模型能够达到相当于 146 亿至 270 亿参数模型的计算深度,从而在需要显著更少 VRAM 的同时超越更大的模型。该模型拥有 512K 的原生上下文窗口,能够精确处理高分辨率多模态数据。其紧凑的尺寸和高效的架构使其能够部署在 RTX 3060 …

  3. TOOL · CL_366432 ·

    新型双帧VLA模型增强城市无人机导航

    研究人员开发了CityNav-VLA,一种用于城市空中导航的新型双帧视觉-语言-动作模型。该模型集成了动态的以自我为中心的感知和稳定的以空间为中心的记忆,使无人机(UAV)能够根据自然语言指令进行导航。通过在固定地图上保留视觉证据并使用确定性控制器将全局推理转化为以自我为中心的指令,CityNav-VLA提高了导航精度和成功率。该系统还包含一个早期目标承诺机制来稳定目标预测,并展示了卓越的效率,一个4B规模的骨干模型在单个A100上平…

  4. TOOL · CL_369080 ·

    LLM 现在可以将算术直接编译到权重中,绕过训练

    研究人员开发了一种新颖的方法,可以将确定性计算直接嵌入到预训练语言模型的权重中,而无需梯度微调或外部工具。这种被称为零梯度编译的技术,使 Qwen 3.5 4B 和 IBM Granite 4.2 3B 等模型能够以高精度执行精确的多位数算术和布尔逻辑。该方法修改了最少数量的权重,并保留了模型的自然语言能力,同时还兼容量化模型并需要显著更少的内存。

  5. RESEARCH · CL_367356 ·

    BubbleTea 系统通过重新利用 GPU 空闲时间来提升 LLM 微调效率

    研究人员开发了 BubbleTea,一个新颖的共置系统,旨在提高利用专家混合(MoE)架构的大型语言模型(LLM)微调效率。该系统通过重新利用“专家并行气泡”——由 GPU 间不均衡的 token 分布引起的利用率不足的时期——来解决 LLM 推理期间 GPU 的空闲容量,用于微调任务。BubbleTea 预测并用微调工作填充这些气泡,重用已加载的模型权重,并已证明与 LLMStation 等现有共置系统相比,微调吞吐量显著提高,同时…

  6. TOOL · CL_364715 ·

    新的FMT图像压缩格式提供固定时间、并行GPU解码

    研究人员推出了一种新颖的无损图像压缩格式FMT(Fixed-step Multiscale Tree),旨在实现高效且固定的解码时间。与现有的一些学习型编解码器速度较慢不同,FMT利用了粗粒度到细粒度的树状结构和并行的GPU预测,确保解码时间与图像大小无关。这种方法使FMT在压缩率方面具有竞争力,同时在解码速度上显著优于传统编解码器和其他学习型编解码器,即使没有神经网络也能实现。

  7. TOOL · CL_356823 ·

    NVIDIA A100 GPU 价格因竞争而下跌 20-30%

    由于来自 AMD 的 Rubin 和 Intel 的 Blackwell 等更新、更高效硬件的竞争加剧,NVIDIA A100 GPU 的价格已大幅下跌 20-30%。由于对 A100 的需求减弱,尤其是在推理任务方面,卖家正在降低价格以清空库存。RTX 6000 GPU 的价格也有所下降。

  8. TOOL · CL_355172 ·

    SteerDistill 将 300 亿参数的大型语言模型压缩至 3 GB,精度损失极小

    一项新的名为 SteerDistill 的技术,在 arXiv 的预印本中有所介绍,能够在不显著损失精度的情况下,大幅减小大型语言模型(LLM)的尺寸。该方法将一个 300 亿参数的大型语言模型量化,使其占用空间降至 3 GB,同时保持任务成功率与原始全精度模型相差仅几个百分点。SteerDistill 通过降低内存消耗和推理延迟,为部署自主语言代理日益增长的成本提供了解决方案。

  9. COMMENTARY · CL_355108 ·

    Vast.ai GPU 租用成本因流量和启动费用而异

    一位用户在 Vast.ai 上使用 RTX 4090 GPU 进行了八次 QLoRA 7B 训练作业,以了解除每小时费率之外的实际成本。实验表明,流量成本,特别是下载 Qwen2.5-7B-Instruct 等大型模型的流量成本,显著影响了总账单,有时甚至超过了 GPU 租用费。此外,启动时间(包括镜像拉取和依赖项安装)也会计费,并且主机性能差异导致了看似相同的作业有不同的训练时长和成本。

  10. TOOL · CL_354386 ·

    技术爱好者将Nvidia CMP-170HX GPU解锁至80GB显存,性能超越A100

    一位名叫Kate的技术爱好者成功改装了一块Nvidia CMP-170HX显卡,该显卡最初是为加密货币挖矿设计的,现已改造成高性能A100 GPU。通过采用电压故障破解技术和一个定制电路板,Kate绕过了显卡的熔断控制器,解锁了其全部80GB显存和着色器模块。此改装不仅将显卡的显存容量从8GB增加到80GB,而且在某些基准测试中的性能也超过了标准的A100。

  11. COMMENTARY · CL_354156 ·

    AI 硬件性能:用户分享 LLM token 吞吐量数据

    作者正在进行一项实验,以衡量运行大型语言模型时各种硬件配置的实际 token 吞吐量。他们要求读者提供有关其显卡、使用的具体模型和量化方法以及在不同并发级别下测得的每秒 token 数的详细信息。目标是将这些用户提交的结果与基于内存带宽和模型大小计算出的理论上限进行比较,旨在了解不同系统的实际性能限制和差异。

  12. TOOL · CL_346809 ·

    LLM 推理的 GPU 成本效益取决于响应时间,而非仅仅价格

    一项使用 vLLM 对四款 GPU(RTX 3090、RTX 5090、A100 和 H100)进行 Qwen2.5-7B-Instruct 模型推理的性能分析显示,每 token 最便宜的 GPU 并非恒定不变,而是取决于所需的响应时间。当需要极快的响应速度时,NVIDIA H100 的成本效益最高;而对于稍长的响应时间,RTX 5090 则更便宜。研究还强调,不同的云服务提供商定价结构会显著改变这些成本比较,并提供了一个工具,允许…

  13. TOOL · CL_345739 ·

    GPU价格在市场动态变化中出现下跌

    据报道,包括RTX 6000 MaxQ等工作站显卡以及RTX 4090和RTX 4080等消费级显卡在内的多个GPU细分市场价格正在下降。这一趋势归因于供应增加,可能来自生产路线的调整以及A100等旧硬件的退役。部分GPU类型的市场需求可能正在放缓。

  14. TOOL · CL_345502 ·

    SageMaker 推理支持通过 NVIDIA MIG 进行 GPU 分区

    Amazon SageMaker 推理现已支持 NVIDIA 多实例 GPU (MIG) 技术。此功能允许将单个物理 GPU 分割成多个独立的实例,每个实例都拥有专用的计算和内存资源。此前,即使是较小的模型,用户也必须分配整个 GPU,导致利用率不足或为未使用的容量付费。MIG 能够在一台实例上部署更多模型,提供硬件强制隔离以实现可预测的延迟和容错能力,并允许根据模型需求正确调整 GPU 分配大小。

  15. COMMENTARY · CL_345183 ·

    2026年自托管大语言模型年成本将达15万至200万美元以上

    预计到2026年,自托管开源大语言模型的年成本将在15万至200万美元之间。除了GPU硬件之外,显著的开销还包括专业工程人员的成本,这可能等于甚至超过硬件支出。从专业云服务提供商那里租用GPU通常比购买更具成本效益,除非能实现近乎恒定的利用率,并且价格因提供商而异,而非芯片本身。

  16. COMMENTARY · CL_344590 ·

    LLM 路由应根据任务成功率进行扩展,而非请求量

    根据请求量扩展 LLM 推理是一个昂贵的错误,因为它不能反映任务的成功。相反,组织应根据任务成功率和每项已完成任务的成本进行扩展。这种方法可确保资源得到有效分配,避免在较小的模型已能有效处理工作负载时,不必要地花费在较大的模型上。跟踪这些指标可以更清晰地了解实际性能和成本效益。

  17. TOOL · CL_344593 ·

    大模型显存需求:Llama、Qwen 和 DeepSeek 自托管指南

    自托管大型语言模型需要仔细考虑显存需求,这受模型权重和 KV 缓存大小的影响。像 Llama 这样的密集模型具有可预测的扩展性,70B 版本需要大量显存,可能需要多块高端 GPU。像 DeepSeek V3/R1 这样的混合专家(MoE)模型每个 token 只激活其参数的一小部分,但仍需要巨大的内存容量,通常需要多节点设置。Qwen 模型种类繁多,较小版本更容易获得,而较大版本则需要复杂的张量并行配置。对于预算有限的用户,像 R1-…

  18. RESEARCH · CL_352106 ·

    新方法提高LLM推理速度和成本效益 · 跟踪4个来源

    研究人员开发了优化大型语言模型(LLM)推理的新技术,重点关注效率和成本效益。一种名为并行提示(Parallel Prompting)的方法通过并发处理多个关于同一文档的问题,显著加快了涉及此类工作负载的推理速度。另一个系统EngineAgent通过管理复杂的跨层依赖关系,自动化了LLM在各种设备硬件上的启用。此外,PISA和PISA-E引入了提示自适应路由和集成方法,以平衡不同LLM请求的响应质量与推理成本。

  19. TOOL · CL_343658 ·

    成本分析显示,微调70B模型的费用为每百万token 1-2美元

    微调一个拥有700亿参数的模型,每百万训练token的成本在1到2美元之间,而一个2000万token的LoRA运行估计约为20美元。成本主要取决于训练的token数量和实验运行次数,GPU利用率和每小时费率也起着重要作用。LoRA、QLoRA和梯度检查点等因素会影响每个token的计算操作,从而影响总费用。虽然完全微调涉及更多的计算和内存,但与LoRA相比,成本差异不如GPU速度和每小时定价的影响显著,像Nvidia B200这样的…

  20. TOOL · CL_342762 ·

    NVIDIA GPU LLM微调指南:每任务成本 vs 每小时成本

    本文提供了一份关于为微调大型语言模型(LLM)选择NVIDIA GPU的指南。文章强调,在做此决定时,每任务成本比每小时成本是更关键的指标。文章比较了几款NVIDIA GPU型号,包括A100、H100、L40和T4,以帮助用户根据其特定的微调需求做出明智的选择。