实体
TRT-LLM
TRT-LLM
PulseAugur coverage of TRT-LLM — every cluster mentioning TRT-LLM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
vLLM 发布 0.29.0rc4 版本，包含 TRT-LLM 错误修复
vLLM 发布了 0.29.0rc4 版本，其中包括一项错误修复，以防止在 TRT-LLM 锯齿形预填充操作期间出现同步问题。此版本由 OpenAI 的 AI 模型 Codex 生成，并由同一模型签署。
-
NVIDIA DGX Spark GB10：vLLM 安装和性能指南
一份技术指南详细介绍了如何在 NVIDIA 的 DGX Spark (GB10) 硬件上安装和运行 vLLM，而无需依赖容器化环境。该指南强调了特定的 Python 版本要求以及潜在的安装陷阱，例如需要激活的虚拟环境以及 FlashInfer 的初始 JIT 构建过程。它还提供了运行 unsloth/Qwen3.6-27B-NVFP4 模型时的性能基准和配置细节，包括内存使用情况和上下文长度能力。
-
Fireworks AI 标记 LLM 训练与服务中的数值漂移问题
Fireworks AI 发现，在训练和部署大型语言模型（尤其是混合专家模型 MoE 架构）时，可能出现关键的数值奇偶校验错误。这些差异源于浮点运算的非结合性以及分布式训练与推理过程中求和顺序的不同，可能导致细微但显著的问题。这种漂移会因对数概率的改变而损害基于人类反馈的强化学习（RLHF）的完整性，并侵蚀客户对微调模型的信任。