PulseAugur
中
实时 20:59:54
实体 A100 GPUs

A100 GPUs

PulseAugur coverage of A100 GPUs — every cluster mentioning A100 GPUs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 15
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 10
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 16 条
  1. TOOL · CL_366112 ·

    Gemma 4 KV 缓存优化带来显著内存节省

    研究人员开发了一种优化 Gemma 4 模型(特别是 Gemma 4.31B)KV 缓存存储的方法。这种新方法存储一个单一的 640 值行,而不是完整的键和值,根据 Gemma 4 报告的建议,KV 缓存内存使用量最多可减少 37.5%。使用 vLLM 的原型在输出上与标准引擎位相同,在 32K 到 64K token 时,每个请求的解码 KV 内存减少了 1.34 到 1.40 倍。该优化还提高了 A100 GPU 上的解码吞吐量,…

  2. TOOL · CL_329987 ·

    配备9600个A100 GPU的Nvidia超级计算机在eBay上以6000万美元的价格出售

    一台已退役的Nvidia超级计算机,配备了9600个A100 GPU,已在eBay上以6000万美元的价格出售。该系统被描述为“复古AI设备”,提供给有兴趣于早期AI开发的爱好者。

  3. TOOL · CL_313124 ·

    SweepANN 通过 GPU 驱动的向量搜索加速药物发现

    研究人员开发了 SweepANN,一个专为大型 K 近似向量搜索设计的新型 GPU 加速系统,特别适用于药物发现应用。该系统将压缩向量分区到多个 GPU 上,以高效处理海量数据集,在速度和内存使用方面优于现有方法。SweepANN 实现了高召回率,这对于识别潜在的药物候选物至关重要,并显著减少了与传统方法相比的处理时间。

  4. SIGNIFICANT · CL_291411 ·

    Nvidia、AMD和ASUS在代理AI硬件和峰会上取得进展 · 跟踪10个来源

    多家公司正在推进代理AI的硬件和软件解决方案。ASUS推出了其XA P2N-E2主板,搭载NVIDIA的Vera CPU,专为代理AI工作负载设计。AMD也贡献了其Helion Rack,拥有32,768个核心,用于代理AI任务。与AMD的EPYC "Zen 5"处理器相比,NVIDIA的Vera CPU在沙盒能力方面表现出卓越的性能。此外,TechSommet正在举办一个关于通过代理AI转变客户对话的虚拟峰会,Hetzner也推出了…

  5. RESEARCH · CL_280363 ·

    新方法通过稀疏注意力和剪枝技术加速 LLM 解码 · 跟踪 5 个来源

    研究人员正在开发新的方法来加速大型语言模型 (LLM) 推理,主要侧重于优化通常受内存限制的解码阶段。一种方法 SparseDecoding 使用由层激活引导的解码感知剪枝来降低延迟并提高 Llama 和 Qwen 等模型的性能。另一种策略 Attention-Mass Condensation 探索了注意力质量集中如何实现稀疏解码,尽管它指出保留的质量本身并不能保证稳定的决策。此外,稀疏非对称组查询注意力 (SAGA) 等方法将键和…

  6. SIGNIFICANT · CL_276639 ·

    美国逮捕科技公司CEO,涉嫌3亿美元走私英伟达AI服务器至中国 · 追踪2个来源

    一名美国男子Greg Lui因涉嫌策划一项走私价值约3亿美元的英伟达AI服务器至中国的计划而被捕。检方称,Lui是Earthmade Computer公司的CEO,他使用虚假文件和通过马来西亚及新加坡的中转路线来规避美国的出口管制。这些服务器包含英伟达的A100和H100 GPU,被认为对推进AI能力至关重要,如果被中国获得,将构成国家安全风险。

  7. RESEARCH · CL_219128 ·

    SatDL框架优化卫星AI训练,缩短时间和能源消耗

    研究人员开发了SatDL,一个用于卫星分布式学习的新框架,该框架同时优化了数据重分布和训练过程。该方法旨在最大限度地减少端到端的总学习时间和降低能源消耗,这是由于轨道上非独立同分布(non-IID)数据和通信延迟带来的关键挑战。使用Starlink星座的模拟和硬件仿真进行的评估表明,在保持高推理精度的同时,学习时间和能源使用量显著减少。

  8. TOOL · CL_196038 ·

    Astrolabe系统通过随机预测引导调度优化大语言模型服务

    研究人员开发了Astrolabe,一个旨在优化大语言模型(LLM)服务的新型调度系统。该系统采用随机预测引导的方法,在无需昂贵的基于迁移的重新平衡的情况下,平衡多个LLM实例之间的负载。Astrolabe结合了响应长度估计、延迟预测和power-of-two-choices调度策略,以增强负载平衡并降低延迟。实验表明,Astrolabe可以匹配或超越现有基线的性能,显著降低平均和P99的首个token时间和端到端延迟,同时还减少了预测…

  9. RESEARCH · CL_167726 ·

    新的 TemporalSinkhorn 方法加速最优传输计算

    研究人员开发了 TemporalSinkhorn,一种用于动态熵最优传输问题的新型并行时间执行方法,特别有利于 Flow Matching 等生成模型应用。该方法允许在不影响输出精度的情况下对未来候选及其修复进行批处理,并利用经过认证的安全前缀和打包更新来实现效率。在 A100 和 RTX 4060 GPU 上的基准测试表明,在某些配置下,时间执行比顺序方法快 1.15 倍至 1.47 倍,在 Flow Matching 小批量流上速…

  10. TOOL · CL_155646 ·

    Meta AI 模型助力劳伦斯伯克利实验室的 Genesis Mission 项目

    Meta 的 AI 模型,包括 Segment Anything Model 和基于 PyTorch 构建的模型,正在劳伦斯伯克利国家实验室的 Genesis Mission 的初始项目中得到利用。这些项目专注于计算生物学、药物发现和材料科学等领域,利用 Meta 的 AI 能力来推进科学研究。该计划突显了先进 AI 工具在复杂科学事业中的应用。

  11. RESEARCH · CL_139531 ·

    新框架通过减少弱模型中的噪声来增强 LLM 训练

    研究人员开发了一个名为对比弱到强泛化(ConG)的新框架,以改进大型语言模型的训练。ConG 解决了现有弱到强泛化方法中的局限性,这些方法可能受到弱模型中噪声和偏差的阻碍。通过利用隐式奖励和对比解码,ConG 生成了更高质量的样本,从而实现了更可靠的能力转移和更强的鲁棒性。这种方法在各种模型家族中都显示出了一致的改进,为推进 LLM 训练提供了一条有前途的途径。

  12. RESEARCH · CL_128417 ·

    新研究探索可控泛化失败和LLM的高效RL蒸馏

    研究人员正在探索改进语言模型泛化和推理能力的新方法。一篇论文提出了一种构建模型的技术,通过在条件策略的混合物上进行训练来展示可控的泛化失败,这有助于进行对齐压力测试。另一项研究引入了直接策略内蒸馏(Direct-OPD)作为一种更有效的方式,将强化学习的收益从小型模型转移到大型模型,无需昂贵的奖励建模或在大型模型上进行直接RL。该方法已显示出显著的改进,例如在AIME 2024基准测试中提升了Qwen3-1.7B的性能。

  13. TOOL · CL_120020 ·

    LINE MAN Wongnai 将 AI 服务器成本削减 9 倍,应用速度提升 4 倍

    LINE MAN Wongnai 已将其 AI 服务器成本显著降低了 9 倍,并将应用程序速度提高了 4 倍。这是通过其 MLOps 方法的战略性转变、优化资源利用率和采用更高效的硬件来实现的。该公司利用 Kubernetes 和 Docker 等技术,以及 AWS 等云服务来有效管理其基础设施。

  14. RESEARCH · CL_97809 ·

    混合精度 CA-SGD 加速 GPU 训练

    研究人员开发了一种用于 GPU 上的广义线性模型的混合精度通信规避 SGD (CA-SGD) 方法。该方法旨在通过将通信分摊到多个迭代中来减少分布式训练中的通信瓶颈。该方法利用现代 GPU 的矩阵硬件和较低精度格式来加速计算并缩小数据传输,与标准的 FP32 SGD 相比实现了显著的加速。

  15. TOOL · CL_44971 ·

    FlashSinkhorn求解器加速GPU上的最优输运

    研究人员开发了FlashSinkhorn,一种新的GPU加速熵最优输运(EOT)求解器,可显著减少内存输入输出操作。通过重写稳定对数域Sinkhorn更新以模仿Transformer注意力中的归一化过程,FlashSinkhorn实现了融合内核,将数据流经片上SRAM。这种方法在A100 GPU上执行点云OT等任务时,与现有方法相比,前向传播速度提高了32倍,端到端速度提高了161倍。

  16. RESEARCH · CL_29834 ·

    尽管有美国出口管制,英伟达芯片仍被走私到中国和俄罗斯

    美国当局正在调查多起先进的英伟达 GPU 和其他半导体技术被非法走私到中国和俄罗斯的案件,以规避出口管制。这些行动涉及复杂的计划,包括使用虚假前置公司和加密通信,以将受限芯片转移用于从人工智能开发到军事应用等各种目的。尽管 Applied Materials 和 Cadence Design Systems 等公司面临巨额罚款和执法行动,但此类技术的非法流动仍在继续,对国家安全构成挑战。