tensorrt
PulseAugur coverage of tensorrt — every cluster mentioning tensorrt across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新模型通过整合视觉和状态来增强机器人操作能力
研究人员开发了几种新方法，通过更好地整合视觉信息与机器人的状态和动作来提高机器人操作能力。例如，GeoProp 是一种轻量级适配器，通过将机器人状态投影到图像平面并注入空间先验来对齐本体感觉和视觉。RoboDojo 提供了一个统一的模拟和真实基准，用于评估通用机器人操作策略在各种任务中的表现。DSWAM 引入了一种双系统方法，将世界动作模型执行器与视觉语言规划器相结合，以实现细粒度操作，而 DynaWM 使用专门针对动态物体操作的基于…
-
Transformer模型增强了自动驾驶车队的安全
研究人员开发了AIMformer，一个基于Transformer的框架，用于实时检测车队中的不当行为。该系统利用多头自注意力机制分析车辆内部的时间动态以及车辆之间的时空相关性。AIMformer针对边缘部署进行了优化，实现了亚毫秒级的推理延迟，并采用以精度为中心的损失函数，以最大限度地减少安全关键应用中的误报。
-
新的RAMS系统为边缘AI感知适配YOLOv8层级
研究人员开发了RAMS，一种专为嵌入式边缘感知系统设计的新型运行时控制器。RAMS根据实时设备资源监控和检测条件，在YOLOv8模型的不同层级之间动态切换。这种自适应方法旨在优化推理延迟和检测质量之间的平衡，尤其是在资源受限的环境中，例如在Raspberry Pi 5和NVIDIA Jetson Orin平台上。
-
NVIDIA推出Halos OS以认证Robotaxi安全性
NVIDIA推出了Halos操作系统（OS），以增强自动驾驶汽车的安全性，特别是Robotaxi。这款新的OS基于NVIDIA DRIVE Hyperion平台构建，为人工智能驱动的车辆提供了经过认证的基础，解决了感知、决策和故障隔离方面的挑战。Halos OS包括符合ISO 26262 ASIL D标准的、经过安全认证的操作系统Halos Core，以及提供传感器和车辆集成标准化接口的Halos SDK，旨在加速Robotaxi车队…
-
LogNEO框架使用GPT-Neo进行实时日志异常检测
研究人员开发了LogNEO，一个使用EleutherAI的GPT-Neo模型检测系统日志中异常的新框架。该系统采用了一种新颖的强化学习方法，并结合了位置感知奖励机制和交叉熵正则化。LogNEO在标准基准测试中取得了高F1分数，在召回率方面优于先前最先进的方法，并且已在生产环境中得到验证，具有低延迟和高吞吐量。
-
Together AI 构建了世界上最快的语音转文本堆栈
Together AI 开发了一个高效的语音转文本系统，其速度显著优于现有模型。他们的方法解决了音频数据处理的独特挑战，音频数据比文本大得多，并且需要大量的预处理。通过优化从 CPU 预处理到 GPU 执行的整个数据路径，Together AI 在流式和离线转录任务上都实现了创纪录的低延迟和高吞吐量。
-
新框架应对工业边缘 AI 部署挑战
本文介绍了一个旨在改进工业嵌入式平台上边缘 AI 应用部署的新系统框架。它认为，将 AI 部署视为一个系统问题，而不仅仅是模型打包练习，对于成功至关重要。所提出的框架分为五个层级，从硬件到运营，并与 Android、NVIDIA Jetson、ONNX Runtime 和 TensorRT 等现有技术集成，以提高在真实工业环境中的可复现性、可诊断性和可靠性。
-
DEMON引擎使扩散模型能够实时作为乐器进行控制
研究人员开发了DEMON，一个实时扩散引擎，允许用户像控制乐器一样控制去噪过程。该系统能够对各种参数进行现场表演调整，在消费级GPU上达到每秒12.3次解码器完成的速度。DEMON利用了新颖的机制，如每槽异构去噪调度和共享可变状态，从而实现对扩散过程的响应式控制。
-
AI视频推理通过优化流水线而非模型，速度提升3倍
研究人员开发了一种无需更改模型本身即可显著加速计算机视觉模型视频推理的方法。通过优化帧读取、模型推理和结果可视化等流水线环节，他们实现了三倍的速度提升。该方法利用多线程并行化帧解码、推理和图像写入等任务，确保GPU得到更有效的利用。优化后的方法旨在降低推理速度对帧解码或图像保存等最慢环节的依赖性。
-
新框架优化多GPU系统上的LLM推理能耗
研究人员开发了EnergyLens，一个旨在优化大型语言模型（LLM）在多GPU系统上推理过程中的能耗的框架。该工具解决了预测和减少LLM能耗的挑战，这对于可持续性和数据中心的高效运营至关重要。EnergyLens利用一个基于einsum的接口和一个经验驱动的通信能耗模型来捕捉复杂的LLM规范和多GPU行为，实现了低预测误差，并揭示了不同配置之间显著的能耗差异。
-
新的卫星系统利用人工智能在严格约束下进行实时野火检测
研究人员开发了一种用于卫星的实时野火检测系统，该系统设计用于在严格的在轨约束下运行。该系统采用一种轻量级的密集表示学习方法，特别是DenseMAE，来处理热红外图像并将火灾识别为小的异常。这种方法在模型占用空间小和推理时间快的情况下实现了高精度，在极端类别不平衡的挑战性条件下优于传统方法。
-
新的DEEP-GAP研究比较了NVIDIA T4和L4 GPU的推理性能
一项新的研究论文介绍了DEEP-GAP，一种用于评估GPU推理性能的方法。该研究系统地比较了NVIDIA T4和L4 GPU在各种深度学习模型和精度模式下的表现。结果表明，L4 GPU的吞吐量显著高于T4，尤其是在较小的批处理大小下，而INT8等降低精度的模式相比CPU基线提供了显著的性能提升。
-
AI模型通过新数据集和高效蒸馏技术推进植物病害检测
研究人员开发了新的植物叶病分类方法，以辅助早期检测和治疗。一种方法是使用DenseNet201架构在一个自定义数据集上训练一个新的基础模型，该模型通过迁移学习证明了使用更少数据即可实现更快、更鲁棒的训练。另一种方法AgriKD，利用跨架构知识蒸馏，将知识从计算成本高昂的Vision Transformer转移到一个更高效的卷积学生模型，显著减小了模型尺寸和边缘部署的推理时间。
-
目标检测模型的量化和输入退化鲁棒性表现不一
一项新研究调查了训练后量化（PTQ）在面对噪声和模糊等现实世界输入退化时，对YOLO目标检测模型鲁棒性的影响。研究人员评估了包括静态INT8在内的各种精度格式，并提出了一种感知退化的校准策略。虽然静态INT8提供了显著的加速，但提出的校准方法并未在大多数模型和退化情况下持续提高鲁棒性，尽管在特定噪声条件下对大型模型观察到了一些好处。
-
NVIDIA 将 Unreal Engine AI 速度提升 5 倍；Nadella 重新定义 AI 成功指标
NVIDIA 推出了 TensorRT for RTX 技术，旨在将 Unreal Engine 内的神经网络引擎 (NNE) 推理速度提高高达五倍。这项进步旨在无需手动优化即可显著降低消费级 RTX GPU 上实时 AI 应用的延迟。另外，微软 CEO Satya Nadella 表示，2026 年的 AI 成功将通过激烈的用户参与度来衡量，而不是通过采用的席位或设备数量，强调文化转型和战略投资。
-
优化Transformer推理：更快、更便宜的大模型技术
大型Transformer模型因其巨大的内存占用和计算成本，给推理带来了显著挑战，这些成本随输入长度呈二次方增长。研究人员和从业者正在探索各种优化技术来缓解这些问题。这些方法包括网络压缩策略，如剪枝、量化和知识蒸馏，以及架构改进和高效并行。目标是减少内存使用、计算复杂度和推理延迟，以实现实际的大规模部署。