tensorrt
PulseAugur coverage of tensorrt — every cluster mentioning tensorrt across labs, papers, and developer communities, ranked by signal.
- uses SeedVR2 90%
- used by DagsHub 70%
- competes with ONNX Runtime 70%
- affiliated with SeedVR2 70%
- used by ScienceCast 70%
- used by CatalyzeX 70%
- used by Gotit.pub 70%
- used by NVIDIA Jetson Orin Nano 8GB 70%
- used by NVIDIA Jetson AGX Orin 64GB 70%
- used by alphaXiv 70%
- affiliated with ONNX Runtime 50%
- affiliated with NVIDIA Jetson Orin Nano 8GB 50%
7 天有情绪数据
-
轻量级HMMF-Net在鱼类喂食评估中实现高精度
研究人员开发了HMMF-Net,一种新颖的轻量级网络,旨在精确评估水产养殖中的鱼类喂食强度。这种多模态架构有效地结合了视觉和声学数据,克服了单一模态方法和计算密集型现有多种模态框架的局限性。HMMF-Net在AV-FFIA数据集上实现了高精度和F1分数,并展示了在NVIDIA Jetson Orin Nano等资源受限的边缘设备上的高效部署。
-
新框架统一边缘网络上的目标检测和图像描述
研究人员开发了一个统一的、基于Transformer的框架,用于分布式边缘网络中的目标检测和密集区域图像描述。该架构重用了图像特征来进行定位和描述,无需为图像描述单独设置编码器。该系统专为资源受限的设备设计,其模型将模型阶段和数据流分配到边缘节点,同时考虑执行时间、内存和功耗等因素。
-
开源 Sophon-Realtime v1 语音模型系列发布
Adventists AI 发布了 Sophon-Realtime v1,这是一个开源的全双工语音模型系列。该模型系列在理解语气、犹豫和笑声等对话细微差别方面表现出色,并能以类似的副语言线索进行回应。它在 VoiceBench 和 Big Bench Audio 等基准测试中取得了强劲的性能,在副语言理解方面优于其他开源全双工模型。该模型专为高效部署而设计,拥有针对语音质量、用户容量或速度进行优化的不同版本,并根据 Apache-2.…
-
InstantHMR 实现移动设备上的实时 3D 人体网格恢复
研究人员开发了 InstantHMR,一个用于在移动设备上进行实时 3D 人体网格恢复的新开源框架。该系统专为速度和准确性而设计,在移动 NPU 和高端 GPU 上均实现了比现有方法显著更快的推理时间。InstantHMR 在公开可用数据上进行训练,并在各种基准测试中展现出具有竞争力的准确性,使其适用于机器人、AR/VR 和健身游戏等应用。
-
新的PanoDent-KD流程支持在嵌入式系统上进行专业牙科X光片检测
研究人员开发了PanoDent-KD,一个用于检测全景X光片中牙科异常的新流程。该系统利用来自通用模型的知识蒸馏,为特定数据集创建专业检测器。该流程已针对Jetson Orin Nano Super等硬件上的嵌入式部署进行了优化,实现了高效的预测延迟和能耗。
-
新框架ProCerDCL验证深度学习编译器优化
研究人员开发了ProCerDCL,一个专为深度学习编译器优化进行高效黑盒概率性验证的新框架。该工具评估属性违反的概率是否超过指定阈值,并以有界误差概率给出接受、拒绝或不确定的结论。ProCerDCL采用比现有方法更节省样本的序贯检验,并已应用于验证TorchInductor和TensorRT中参考执行与编译执行之间的语义一致性,成功识别出编译器故障。
-
AI推理通过多巨型内核方法优化,性能优于单个内核
研究人员开发了一个新的框架,通过战略性地组合多个巨型内核而不是依赖单个单体内核来优化AI模型的流式推理。该方法在NH-TTS、Qwen3-TTS和Llama-1B模型上进行了测试,发现最佳性能通常涉及两个到四个专用巨型内核或完全传统的图执行。该框架通过模拟瓦片和事件图来预测最佳配置,避免了完整的端到端运行。对于H100 NVL GPU上的NH-TTS模型,该方法与单个巨型内核设计相比,首次音频生成时间减少了21.4%,吞吐量提高了28…
-
NVIDIA 携手欧洲零售商,通过开放式 AI 模型实现成本节约与效率提升
NVIDIA 正在助力欧洲零售商利用开放式 AI 模型和物理智能技术,应用于各类场景。Shopify 等公司正在微调开放式模型,以实现高精度并显著降低推理成本,其中一个案例显示成本降低了 90%,速度提升了 7 倍。其他零售商则利用 NVIDIA 的技术来增强产品发现、图像编辑,甚至加速配料发现等领域的科学研究。
-
llama.cpp 发布预发布版本;Jetson AGX Orin 的深度估计基准测试
llama.cpp 项目发布了多个预发布版本,包括 b11848、b11852 和 b11799,引入了各种更新和错误修复。值得注意的是,b11848 版本增加了对跨进程并发下载的支持,并为 openEuler 系统提供了特定配置。另一项内容讨论了 NVIDIA Jetson AGX Orin 的深度估计方法基准测试,评估了单目和双目方法的准确性、速度和能耗。
-
SparkLLM发布Spark-X2.6-4B,用于设备端智能体和编码
SparkLLM发布了Spark-X2.6-4B,这是一款专为设备端智能体和实际应用设计的新型紧凑型语言模型。该模型在Spark-X2.5-4B的基础上,通过增强的训练后能力,提升了在编码、智能体工作流、长上下文任务、多语言使用和推理方面的性能。Spark-X2.6-4B提供可控的推理水平,以平衡推理工作量、延迟和成本,并支持在RTX 4090和Mac M5 Pro等各种硬件和运行时上的设备端推理。
-
AI模型剪枝增强汽车系统中的限速标志识别
研究人员开发了一种新颖的方法,通过在YOLO系列网络上采用通道重放剪枝来优化汽车系统中的限速标志识别。该技术在保持准确性或甚至优于其他剪枝方法的同时,显著减少了检测器的参数数量。分类器(一种卷积神经网络CNN)针对少比特整数推理进行了优化,以最小的内存占用实现了高精度。结合使用时,这些优化的组件构成了一个硬件高效的系统,能够在NVIDIA Jetson AGX Orin等嵌入式设备上以高精度和高帧率识别限速标志。
-
边缘GPU AI性能瓶颈在于内存带宽而非FLOPs
一篇新的研究论文强调,基于查询的分割解码器在边缘GPU上的性能主要受内存带宽限制,而非计算能力(FLOPs)。该研究剖析了FastInst和Mask2Former等模型,发现这些解码器将大量时间和内存用于跨内核激活流量,从而有效地使内存总线饱和。为解决此问题,开发了一种名为CompactInst的新方法,该方法通过无参数空间池化减少数据移动,从而在NVIDIA Jetson Orin Nano等设备上实现显著的加速,同时保持了具有竞争力的准确性。
-
ComfyUI 视频放大器增加 W4A8 量化支持
ComfyUI-SeedVR2-VideoUpscaler-with-TensorRT 工具的新版本 v1.6.6 已发布,引入了对 W4A8 量化的支持。此次更新旨在在保持相似文件大小的同时提高图像质量,优于 NVFP4,尽管 VRAM 消耗与 ConvRot INT8 相当。发布说明还指出,DisTorch2 之前为管理 VRAM 峰值而实现,但导致了过高的使用量,因此不建议在此版本中使用。
-
为AI工程师解析Nvidia GPU术语
本文为AI工程师定义了必不可少的GPU术语,涵盖了从CUDA核心到NVLink的概念。文章解释了这些NVIDIA GPU概念如何影响模型拟合、执行速度和可扩展性。该文旨在使AI专业人士掌握相关知识,以了解和优化其机器学习工作负载的GPU性能。
-
ComfyUI 视频放大器更新,支持低显存系统
ComfyUI-SeedVR2-VideoUpscaler-with-TensorRT 工具的新版本已发布,特别针对拥有 6GB 或 8GB 显存的用户。1.6.0 版本引入了 DisTorch2 DiT 加载器节点和 Phase 2 VRAM 控制,旨在减少 Diffusion Transformer 处理过程中的显存峰值。此次更新为低显存系统提供了更大的批处理大小灵活性,但可能会略微降低图像质量。
-
ComfyUI 工具更新稳定低端 GPU 显存
ComfyUI-SeedVR2-VideoUpscaler-with-TensorRT 工具发布了新版本,专门解决了 Diffusion Transformer (DiT) 处理过程中显存使用峰值的问题。此次更新版本号为 1.5.7,旨在稳定显存消耗,使其对拥有 6GB 或 8GB 显存的用户更加友好。这些改进通过允许更高的批处理大小和更高效的处理,使所有用户受益,即使是在拥有更大显存容量的系统上。
-
Ultralytics YOLO Evolution: From YOLOv5 to YOLO27 Detailed in New Paper
一篇全面的论文回顾了 Ultralytics 的 YOLO 物体检测模型的演变,详细介绍了从 YOLOv5 到最新的 YOLO27 的进步。YOLO27 引入了双架构策略,其中紧凑型版本使用简化的 CNN,而大型版本则采用 Transformer 解码器进行无 NMS 检测。该论文涵盖了架构变更、在 COCO 上的基准测试结果以及跨各行业的部署考量,同时还讨论了 YOLO 系统的未来挑战和方向。
-
VPEngine框架将机器人视觉推理速度提升3倍
研究人员开发了VPEngine,一个旨在优化机器人视觉任务GPU使用的新型框架。该系统利用共享的基础模型提取图像表示,然后将其高效地分发给多个并行运行的专用任务头。这种方法避免了冗余计算和内存开销,与顺序模型执行相比,速度最高可提升3倍。VPEngine是开源的,用Python编写,并带有ROS2 C++绑定,已在NVIDIA Jetson Orin AGX上展示了实时性能。
-
TokenMask简化视觉Transformer分割,提升效率
研究人员开发了TokenMask,一种在Token空间直接操作的视觉Transformer分割新方法,无需进行密集的空间特征图重建。该方法简化了计算结构,降低了内存和计算需求,同时保持了具有竞争力的准确性。通过在NVIDIA Jetson AGX Orin等硬件上使用TensorRT实现更快的推理,TokenMask提高了效率和速度,尤其适用于嵌入式视觉系统。
-
AI框架赋能边缘硬件实时水果检测
研究人员开发了一个用于嵌入式硬件(特别是NVIDIA Jetson Orin Nano Super)上实时水果检测和视频分析的框架。该系统利用在各种水果数据集上训练的轻量级YOLO26s检测器,并使用PyTorch和TensorRT进行优化以实现高效部署。时间分析使用APPLE MOTS进行多目标跟踪和唯一水果计数,并集成到NVIDIA DeepStream管道中。该框架实现了高帧率,并证明了基于边缘的水果监测的可行性,尽管性能会因采…