实体
TensorRT Edge-LLM
TensorRT Edge-LLM
PulseAugur coverage of TensorRT Edge-LLM — every cluster mentioning TensorRT Edge-LLM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
大型语言模型转化为更快的“系统一”决策模型
本文探讨了如何将标准的大型语言模型(LLM)转化为“系统一”决策模型,其灵感来源于丹尼尔·卡尼曼的认知系统。与传统的逐个 token 生成文本的大型语言模型不同,“系统一”模型通过对潜在答案进行评分来一次性做出决策。该方法涉及在 TensorRT Edge-LLM 等平台上使用 logit bias 和 logprobs,无需重新训练模型即可实现此目的。
-
NVIDIA推出Halos OS以认证Robotaxi安全性
NVIDIA推出了Halos操作系统(OS),以增强自动驾驶汽车的安全性,特别是Robotaxi。这款新的OS基于NVIDIA DRIVE Hyperion平台构建,为人工智能驱动的车辆提供了经过认证的基础,解决了感知、决策和故障隔离方面的挑战。Halos OS包括符合ISO 26262 ASIL D标准的、经过安全认证的操作系统Halos Core,以及提供传感器和车辆集成标准化接口的Halos SDK,旨在加速Robotaxi车队…