NVIDIA L40S
PulseAugur coverage of NVIDIA L40S — every cluster mentioning NVIDIA L40S across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
vLLM 与 Ollama:选择正确的 LLM 部署引擎
本文比较了 vLLM 和 Ollama,这是两个流行的用于部署大型语言模型的工具。Ollama 被介绍为一款用户友好的应用程序,适合在个人工作站上独立使用,支持各种操作系统以及 Gemma4 和 Qwen3_8B 等模型。相比之下,vLLM 被强调为一款高吞吐量的部署引擎,专为许多并发用户或程序访问共享 GPU 的场景而设计,提供兼容 OpenAI 的 API,并通过 PagedAttention 和连续批处理实现优化的内存管理。关键…
-
新方法通过学习目标条件子目标来训练分层世界模型
研究人员开发了一种新颖的方法来训练分层世界模型,该模型通过学习目标条件子目标来规划长远目标。该方法用一个生成条件向量的轻量级网络取代了昂贵的搜索过程,而一个固定的预测器则生成潜在的航点。训练利用了回溯目标和离线轨迹上的状态预测损失,无需显式的搜索解决方案目标或宏动作标签。在包括 Cube 和 Visual AntMaze 在内的各种环境上的评估显示,与基线方法相比,性能有所提高,并且在 NVIDIA L40S 硬件上实现了显著的端到端加速。
-
新的ATEST框架通过适应GPU负载和能源成本来优化大语言模型推理
研究人员开发了ATEST,一个用于大语言模型推理的自适应资源感知测试时推理的新框架。该系统通过根据查询难度和实时GPU条件(包括能源成本)动态调整推理工作量,解决了传统方法中固定采样预算的问题。ATEST-Online模式无需离线校准,可逐步生成样本,监控GPU负载,并学习能源成本以确定何时停止,在不同负载下展示了准确性和能源效率的显著提升。
-
Tetra LLM 量化实现每参数 2.7 比特,提升推理速度
研究人员开发了 Tetra,一种将大语言模型(LLM)量化至平均每参数 2.7 比特的新颖方法,显著降低了内存需求。该技术基于 leech-lattice 量化,通过优化码本结构并采用专门的内核来最小化 GPU 内存加载的数据,从而实现这一目标。使用 Tetra 量化的模型,如 Qwen3 变体,在 MMLU 和 GSM8K 等基准测试中表现出与更高比特量化方法相当的性能,仅有轻微下降,同时在推理速度方面显示出显著提升。
-
H公司发布单塔多模态编码器系列NeoMME
H公司推出了NeoMME,这是一个专为提高效率而设计的新型多模态编码器系列。这些模型提供2.6亿和8亿参数两种尺寸,无需独立的视觉塔和因果解码器,通过单一Transformer架构处理文本和图像数据。这种简化的方法旨在降低计算开销,同时保持强大的性能,其中2.6亿参数的NeoMME-Retriever在文档检索基准测试中取得了有竞争力的结果。
-
AI框架AIRMap生成无线电地图速度比光线追踪快100倍
研究人员开发了AIRMap,一个用于快速无线电地图估计的深度学习框架,这对于实时无线网络模拟和数字孪生至关重要。该系统利用U-Net自动编码器,仅处理地形和建筑物高度数据即可快速准确地预测路径增益。AIRMap在波士顿的大型数据集上进行训练,并在各种环境中得到验证,其性能显著优于传统模拟器,在毫秒级推理时间内实现了低于4 dB的RMSE。
-
Compiler-first duality enables portable O(1) Mamba-2 inference
研究人员开发了一种优化 Mamba-2 推理的新方法,重点关注编译器优先的状态空间对偶性。这种方法实现了具有 $O(1)$ 复杂度的便携式自回归缓存,无需自定义 CUDA 或 Triton 内核。最终的单源推理路径在 JAX 中实现,在 Google Cloud TPU 和 NVIDIA GPU 上展示了显著的加速,实现了高硬件利用率并匹配了参考困惑度分数。
-
Flash-WAM 为世界动作模型实现 23 倍的推理加速
研究人员开发了 Flash-WAM,一个显著加快推理时间的世界动作模型新框架。传统模型需要许多去噪步骤,使得实时控制变得困难。Flash-WAM 采用模态感知步长蒸馏技术,适应视频和动作流独特的噪声特性。这使得单步推理过程成为可能,在 NVIDIA L40S 硬件上将延迟从 8 秒以上降低到 350 毫秒以下,提高了 23 倍。